تعود جذور عائلة كرم إلى قرية السودا قرب مدينة اللاذقيَّة. هاجر الجدّ الأكبر إلى طرابلس الشام، ثمّ انتقل منها إلى بلاد مصر، ليصل إلى مدينة طنطا، حيث عمل مزارعاً وتاجراً للأقطان. لكنّ فيلسوفنا يوسف كرم، لا ينتمي إلى هذا الفرع من عائلة كرم، إذ إنّ عائلته، تتبع المذهب المارونيّ، وتعود جذورها إلى مدينة بيروت. هاجر الجدّ الأكبر إلى مصر، حيث تزوّج وأنجب أولاده. وكان أحدهم ولده يوسف، الذي وُلد في الثامن من شهر أيلول عام 1886، في مدينة طنطا. وفي السابعة من عمره ألحقه والده، المتوسّط الحال، بمدرسة القدِّيس جاورجيوس، وتُعرف بمدرسة "سان جورج" عند الشوام. فدرس فيها المرحلة الابتدائيَّة والمتوسّطة والثانويَّة، حيث أنهى دروسه فيها عام 1902، ثمّ التحق بمدرسة القدِّيس لويس بطنطا. ثمّ ما لبث أن غادرها ليعمل موظّفاً في البنك الأهليّ بطنطا. استقال بعدها من وظيفته، وغادر مصر متوجّهاً إلى باريس ليتابع دروسه الجامعيَّة فيها.