Когда Лайонел решил получить степень магистра аналитической химии в университете Маркетт, молодая семья вернулась в Милуоки. Было очевидно, что в этой ситуации переезд поближе к студенческому городку – разумный шаг, но тогда, как и позднее, речь шла об удобстве Лайонела. Джойс просто пришлось с этим смириться. В ответ она снова начала жаловаться, что ей мешают соседи. Любой шум, особенно если в нем были виноваты другие люди, очень ее расстраивал, казалось, она воспринимает это как личное оскорбление. Лайонелу постоянно приходилось разговаривать с соседями, жившими в том же доме; чтобы защитить здоровье своей жены, он просил их разговаривать тише – такие заявления окружающие, естественно, рассматривали как неоправданное вмешательство в их жизнь. Чтобы загладить за это свою вину перед Лайонелом, Джойс стала очень педантично вести домашнее хозяйство, следя за тем, чтобы все стояло на своих местах. Но, само собой, она ожидала похвалы за свои усилия. Ей постоянно требовалось подтверждение того, что ее действительно любят.
К тому времени, как Джеффу исполнилось два года, он уже заговорил. Он называл себя «Джеффи» и умел на пальцах показывать свой возраст. Он мог произнести слова «горшок», «вверх» и «телевизор» и уже через несколько месяцев выучил наизусть свою первую молитву (Лайонел был преданным и набожным лютеранином). Эта молитва звучала так: «Теперь позволь мне отойти ко сну, я молю Господа сохранить мою душу. Да благословит всех Бог. Пусть Джеффи будет хорошим мальчиком. Аминь».
В 1962 году Лайонел получил магистерскую степень и поступил в аспирантуру государственного университета штата Айова ради степени доктора философии. Это повлекло за собой очередной жизненный поворот для семьи: им снова пришлось переезжать. Они купили небольшой домик в городе Эймс, штат Айова. Мебели сначала практически не было (квартиру в Милуоки они снимали с мебелью), но Джефф не расстраивался по этому поводу. Джойс писала, что «он был очень доволен своей голой комнатой, в которой сидела только его собачка Мэгги и стояла кровать»; речь здесь идет о мягких игрушках, которые купила ему тетя Юнис, сестра Лайонела. У него также появился новый питомец – белка Джиффи, которая в поисках еды пришла к ним на подоконник и в итоге осталась жить в доме. Есть фотография, где мать и сын вместе показывают Джиффи; развлечений подобного рода, конечно же, не было в Милуоки, и ребенок пребывал в полном восторге. Вскоре он начал наблюдать за всевозможными мелкими животными и насекомыми, пытаясь понять, что они делают.
Когда Джефф начал ходить в начальную школу в Эймсе, он, по словам его матери, был очень застенчивым. Это выражение она еще много раз будет использовать впоследствии. Поскольку его все время называли «новеньким», для себя он вообразил, что отныне это его имя в новой, необычной обстановке. Учительница подарила ему еще одного питомца – серую мышку, – но этого оказалось недостаточно, чтобы Джефф победил свою стеснительность, и школа абсолютно не привлекала его. Казалось, ему сложно общаться с другими мальчиками, он совсем не знал, как найти с ними общий язык; он был неловким, чувствовал себя не в своей тарелке. Он с трудом самостоятельно надевал и снимал ботинки, а педагоги ему не помогали. Он расстраивался и начинал из-за этого плакать.
В конце 1963 года его лечили от ушной инфекции, а также пневмонии, которая протекала в легкой форме. Родителей Джеффа предупредили, что нужно следить за состоянием его грыжи – может потребоваться операция. Через несколько дней после этого семья чудесно отметила Рождество, во время праздника Лайонел, к огромной радости маленького Джеффа, нарядился Санта-Клаусом, и мальчик с удивлением трогал его искусственную бороду и накладной живот. Однако через несколько недель родителям стало ясно, что грыжу надо срочно лечить, и они с тревогой отправили маленького Джеффри в больницу. Случилось так, что ему пришлось провести две операции по удалению грыжи; подобное вмешательство крайне тяжело проходит даже для взрослого человека, а для четырехлетнего мальчика это и вовсе ужасно. Джеффри вспоминал, что, когда лежал в больнице, они вместе с другими детьми смотрели передачу, которая называлась «Заколдованные»; предположительно это было до операции. Саму операцию провели 19 марта 1964 года.