Через восемь месяцев Мэри вновь решила отправить Джимми к тетке, но в 1944 году забрала его назад. В течение последующих двух лет мальчик большую часть времени проводил со своей матерью, но постоянно переходил из публичной школы в частную и обратно, редко оставаясь в одном и том же учебном заведении более нескольких месяцев.
Несмотря на все, вскоре после окончания Второй мировой войны родители Джимми вновь поженились. Их новый брак длился месяц. Оба злоупотребляли алкоголем уже долгие годы. В 1947 году Джимми менял школу три раза, и его успеваемость съехала настолько, что мальчику предложили остаться на второй год в пятом классе. Джимми вновь почувствовал, что такое жить полноценной жизнью, лишь у своей тетки. С сентября по май 1947 года мальчик продолжал учиться в одном и том же заведении. Это был самый длительный период, на который ему удавалось "задержаться" на одном месте.
В 1948 году его мать вышла замуж за другого мужчину, и Джимми вынужден был возвратиться к ней в Огайо. Это замужество (четвертое по счету) также не продлилось особо долго. В возрасте от двенадцати до тринадцати лет мальчик постоянно менял квартиры и наконец вновь очутился у Клары.
В 1951 году, когда Джимми исполнилось пятнадцать лет, его тетушка написала: "Это очень критический период в его жизни, как вы сами понимаете. Вряд ли я могу полностью заменить мальчику обоих родителей, но я делаю все от меня зависящее". Она также отметила, что, хотя Джимми не был хорошим учеником, у него были спортивные успехи и он проявлял интерес к музыке и рисованию.
В 1953 году, когда Джимми Гамильтону исполнилось семнадцать лет, вместо того, чтобы отправиться в летнюю школу и подтянуть "хвосты", от сбежал вместе со своим другом во Флориду. Там у них были неприятности из-за кражи, но ребят не наказали, так как вмешались друзья семьи, а сами юные воры еще не достигли совершеннолетия.
В 1955 году Джимми начал служить во флоте. Офицер, принимавший экзамен у новобранцев, утверждал, что Джимми получил самый высший бал среди всех претендентов в этом городе. Джимми полюбил службу на флоте и начал путешествовать. Вот что он написал своей тетке из Японии, подтверждая слова Эдгара Кейса о том, "что он будет принадлежать миру" (1208-1): "Как бы мне хотелось, чтобы ты могла посетить Японию. Это удивительная страна! Даже не знаю, почему я чувствую себя своим среди этих людей". Казалось, иностранные языки давались ему легко.
Когда Джимми было около двадцати лет, он получил письмо от отца, с которым они редко виделись. Вот что там было написано:
Безусловно, оба мы хотели, чтобы твоя жизнь протекала в более при ятной обстановке, чем та, что все время складывалась из-за наших мелких симпатий и антипатий, которые тогда казались нам столь важными. Сейчас все это представляется мелочью, но что поделаешь, время ушло. Тогда, когда нам следовало быть рядом с тобой, мы находились в другом месте.
Тебе все это прекрасно известно, но мне хотелось бы, чтобы ты также знал, что и я осознаю это…
В 1960 году родители Джимми как-то завели речь о возможности нового примирения. Но этого так и не произошло, и Бен женился на другой женщине, чтобы позже разойтись и с ней. По окончании службы во флоте Джимми отправился в Лос-Анджелес, где стал играть на бас-гитаре в джаз-оркестре. Вскоре он перешел в джазовый ансамбль и, по словам его тетки, "стал вести богемный образ жизни". В 1959 году он оказался во Флориде, где продавал рекламные ролики для радио и телевидения. К концу года он возвратился в Вирджинию, где каждую свободную минуту стал отдавать джазу. В 1960 году он женился. Жена решила положить конец музыкальным амбициям Джимми, настаивая, чтобы тот "остепенился". Через два года у них появился сын. В этот период Джимми проходил юридический курс, который так и не закончил. В 1963 году он стал помощником менеджера в магазине готовой одежды. В следующем году он вновь вспомнил о своем давнишнем пристрастии к рисованию – решил пойти учиться в вечернюю школу, но его планам так и не суждено было осуществиться. В 1965 году Джимми и его первая жена разошлись.
В 1966 Джимми Гамильтон вновь женился и начал работать в магазине. В том же году его мать, Мэри, заявила, что, будь она умнее двадцать лет назад, ей удалось бы сохранить брак с Беном. В 1967 году у Джимми и его новой жены родился ребенок, но уже в следующем году они разошлись. Джим отправился в Вашингтон, где нашел работу в фешенебельном магазине. Его тетушка Клара впоследствии говорила, что в это время Джимми пытался получить совет на предмет того, "как обуздать себя". Вскоре он женился и развелся в третий раз.