Лайонел неумолимо се изкачвал нагоре по кариерната стълбица, а това означавало доста често да се местят. През 1962 год. те се преместили в Еймс, след това се местили още няколко пъти и скоро семейството се установило в Дойлестаун, щата Охайо. За съжаление не било възможно да вземат със себе си кучетата и затова Дамърови оставяли животните в приют, преди да тръгнат. Всяка раздяла с домашния любимец означавала за Джефри огромна загуба. Във всичко останало нищо не помрачавало детството на Джефри. Той обичал по цял ден да гледа телевизор, обожавал анимационните филмчета и комиксите като всички деца от онези години, обожавал и всичко с образа на Батман.
През 1966 год. Джефри както винаги гледал телевизия в гостната. Изведнъж усетил остра болка в слабините. Присвил се от болката и извикал. Разтревожената майка повикала лекар. Когато докторът пристигнал, Джефри вече бил обезумял от болка и през цялото време повтарял, че са му отрязали гениталиите. Детето било откарано в болница, където му била назначена спешна операция за отстраняване на херния в слабините. Упойката се оказала слаба, защото не пресметнали добре дозата за малкия пациент. Мислите му започнали да се замъгляват, но Джефри останал в съзнание. Дали е бил в съзнание по време на операцията или просто болката от хернията така и си е останала с него когато заспал, също е сложно да се каже. Самият Дамър разказвал, че помни как са му правили операцията.
Така или иначе, хернията била оперирана успешно и скоро Джефри се завърнал вкъщи. След тази операция той се променил. Родителите му отдали това на шока след операцията, но минало доста време, а Джефри все не ставал както преди. Той все повече мълчал, на лицето му често се появявало отсъстващо изражение.
Няколко месеца след операцията майката на Джефри разбрала, че е бременна. Отначало се страхували да кажат това на Джефри. Детето можело да се обиди на родителите си, да започне да ревнува и дори да намрази бъдещото си братче или сестриче. Когато на бял свят се появил братът на Джефри, родителите се разтревожили още повече. В желанието си да зарадват сина си, те предложили на Джефри да измисли име на брат си.
— Дейвид — казало колебливо момчето. Родителите замълчали за миг, а след това Лайонел с весел глас възкликнал:
— Дейвид, ами нека да е Дейвид. Страхотно име.
Страховете на родителите били напразни. Джефри не проявявал никаква агресия към малкото си братче, дори напротив, изглеждало така сякаш наистина е обикнал Дейвид. Но с връстниците си Джефри не можел да намери общ език. В началното училище той си завоювал славата на единак. Никога не го канели нито на рождени дни, нито на училищните празници. В дома на Дамър никога не идвали други деца. Но Дамърови не се тревожели много по този повод. Джефри винаги бил отличник, а това било много по-важно.
През 1968 год. Дамър отново се преместили. Този път семейството се установило в малкото градче Бас, в щата Охайо. Тук Джефри тръгнал в средното училище Revere High School. Неразговорчивият нов съученик с отсъстващо изражение на лицето не извиквал особена симпатия у съучениците си. Намразили го. Започнали да му се подиграват. Във всеки клас трябвало да има по една черна овца и Дамър подхождал идеално за тази роля. Ден след ден ситуацията ставала все по-лоша и по-лоша.
Няколко пъти Джефри се прибирал вкъщи със синини и ожулвания. Веднъж група момчета от по-горен клас срещнали Джефри, който се връщал от някакви вечерни занятия. Едно от момчетата държало в ръцете си бейзболна бухалка. Не успели да я използват, но тази случка още дълго време преследвала Дамър в нощните му кошмари.
В средата на годината в класа му дошъл още един нов ученик. Ли боледувал дълго време и тръгнал на училище едва в средата на годината. Джефри се сприятелил с него. Отначало те само разменяли по някоя дума в часовете, после започнали заедно да си пишат домашните и много скоро станали първи приятели. Тогава Джефри за първи път се замислил, че момчетата му харесват повече от момичетата.