Детство Жана прошло на ферме Федиаль, среди полей, холмов, виноградников солнечного Лангедока. Семья Жореса, несмотря на ее явно буржуазное происхождение, вела жизнь, мало отличавшуюся от образа жизни крестьян среднего достатка. А это значит, что Жюль Жорес, его супруга, старший сын Жан и его брат Луи, родившийся годом позже, жили на грани бедности. Может быть, им и удавалось бы как-нибудь сводить концы с концами, если бы не болезнь главы семейства. Судьба все больше отворачивалась от Жюля Жореса, человека очень непрактичного с точки зрения его богатых родственников. Он совсем не походил на главу семьи с твердой рукой. Но Жан и Луи любили своего доброго отца, хотя он и не пользовался у них особым авторитетом. Видимо, от отца Жан унаследовал черты, которые иногда сказывались в нем и много позже: нерешительность и колебания в сложных обстоятельствах, стремление получить одобрение своих поступков, уныние при неудачах. Так же как и замечавшийся уже в детстве нервный тик в одном глазу и периодические головные боли.
Но это отнюдь не значит, что речь идет о какой-то болезненной натуре. Нет, Жан был здоровым мальчиком, здоровым физически и морально. Внешне он ничем не отличался от крестьянских детей. Коренастый и розовощекий, Жан получил в детстве прозвище Толстяк. А на долю его брата выпала клочка Рыжий. Младший брат отличался беззаботностью. Жанно, как его звала тогда, а также и позже, был серьезнее, глубже, сложнее. Хотя и по-разному, но оба брата росли жизнерадостными, добрыми и трудолюбивыми. В этом последнем качестве Жанно, впрочем, явно превосходил младшего брата.
Душевным здоровьем и цельностью натуры, добродушием и мягкостью — всеми этими драгоценными свойствами, которые Жорес сохранил до конца жизни, он был обязан своей матери. Она достойна той постоянно нежной любви, которую Жан испытывал к ней на протяжении всей своей жизни. Это она была душой и подлинной главой семьи. Аделаида создавала атмосферу согласия, дружбы, взаимной заботы, которые объединяли всех четверых: мать, отца и двух сыновей. Ее самоотверженная преданность материнскому долгу, интересам семьи сама по себе служила сильным средством морального воспитания сыновей. Она не жалела времени и сил, чтобы они были сыты и одеты. А это было нелегким делом в тех стесненных обстоятельствах, в которых оказалась семья из-за болезни отца. Она без конца штопала и перешивала курточки своих мальчиков. Она отдавала им все и никогда не жаловалась на судьбу. Ее жалкие драгоценности были проданы, зато сыновья находили в своих карманах мелкие монеты. Но важнее всего была для них беспредельная доброта, жизнерадостность, передававшиеся детям и формировавшие их души.
Врожденная мягкая терпимость пронизывала ее отношение к жизни. Аделаида была католичкой, она добросовестно соблюдала обряды, но никогда не проявляла религиозного ханжества, фанатизма, нетерпимости. Мать Жореса — образец тех французских матерей, о которых он говорил позднее, что с религией их связывают лишь традиции и отсутствие какого-либо иного мировоззрения. Ведь религия освящала крупные события их жизни: замужество, рождение детей, смерть. «И они не считали себя вправе, — писал Жорес спустя много лет, — прервать в отношении детей ту традицию, с которой они не порывали сами. Пусть дети воспитываются свободно, вместе с другими детьми, принадлежащими к любой религии или не принадлежащими ни к какой, пусть их воспитывают учителя, которые научат их размышлять а мыслить, которые не скрывают от них творений человеческого духа, завоеваний и гипотез науки! Жизнь и свобода, эти великие воспитательницы, будут иметь в конце концов последнее слово».
Так и случилось с Жаном, еще в юности ушедшим от церкви, чему мать нисколько не противилась. Словом, над сознанием юного Жореса не тяготел духовный гнет, хотя его семья и не отличалась свободомыслием. Политические симпатии родственников Жана не оказали на него какого-либо серьезного влияния. Его не увлекли ни монархические взгляды отца, который был орлеанистом, ни легитимистские симпатии его дяди адмирала Шарля Жореса, ни умеренно-либеральные воззрения другого дяди, адмирала Бенжамена Жореса, ни крайне националистические склонности брата матери Луи Барбаза. И если верно то, что в семье Жана ничто не могло расположить его к социализму или даже к левому республиканизму, то не менее верно также и отсутствие сильного противоположного воздействия. Влияние матери, породившее в нем ощущение духовной свободы, было здесь, пожалуй, важнее всего.