Через три года он возвратился в Ганновер и некоторое время вел себя как примерный гражданин. Он даже поступил на военную службу, но военная карьера его не состоялась: через полгода его комиссовали с диагнозом "слабоумие".
В личной жизни его преследовали неудачи. К женщинам он был полностью равнодушен, привлекали его мужчины, и это окончательно рассорило его с отцом. Дело дошло до того, что отец явился в полицию и потребовал немедленного ареста сына за аморальный образ жизни. Ареста Хаарманн-младший избежал, но под одной крышей с отцом не остался: уехал в район Острова и поселился в маленькой однокомнатной квартирке. Видимо, это переселение окончательно развязало ему руки, и он, пользуясь свободой, встал на путь преступлений.
С 1905 по 1913 год Хаарманн не менее 9 раз попадал в руки местной полиции за совершение различных краж. Однако сроки, на которые он попадал в тюрьму, были минимальными. За это время он провел в тюрьме 5 лет и два месяца, но лучше от этого так и не стал. В октябре 1918 года Хаарманн попал под подозрение в убийстве двух молодых людей, однако обыск на его квартире не дал результатов. Между тем, как выяснилось позднее, Хаарманн действительно убил этих двух юношей, расчленив их тела. Голова одного из них во время полицейского обыска находилась за печью, но сыщики не удосужились туда заглянуть. А может быть, тот обыск был и вовсе фикцией. Говорить так заставляет тот факт, что Хаарманн к тому времени уже несколько лет работал негласным осведомителем местного уголовного розыска и трогать его было не целесообразно. Более того, Хаарманн даже раздобыл себе удостоверение директора сыскного бюро, и это часто выручало его в сложных ситуациях.
В 1922 году две женщны, часто бывавшие в доме Хаарманна, увидели однажды неподвижно лежащего на его кровати молодого человека. Неподвижность и поза этого человека насторожили. Хаарманн объяснил, что "юноша просто спит" и поспешил выпроводить женщин из дома.
На следующий день женщины, зайдя к Хаарманну, обнаружили на стуле рядом с кроватью пиджак и брюки юноши, хотя Хаарманн утверждал, что гость уехал. Кроме этого, на кухне они увидели горшок с вареным мясом, подозрительного вида. В тот же день женщины рассказали в полицейском управлении о своих подозрениях.
Стоит отметить, что полиция отреагировала весьма оперативно и прибыла на квартиру Хаарманна с обыском. На вопрос о молодом человеке Хаарманн спокойно ответил, что тот попросился на ночлег и днем ушел, оставив в качестве платы за постой свой костюм. Хаарманн же отдал ему свои старые брюки и рубашку. Мясо в горшке он назвал обыкновенной свининой, и эксперт, исследовавший его, подтвердил это. Полиция и в тот раз ушла ни с чем.
После обнаружения черепов Хаарманн вновь попал в поле зрения полиции, но с его арестом спешить не стали. За ним установили негласное наблюдение, для чего вызвали из другого города двух агентов. Но и это скрытое наблюдение не помогло: Хаарманн вел себя на редкость благопристойно. Казалось, что ему удастся благополучно выйти из сложной ситуации. Но тут произошло неожиданное.
Видимо, уверенность Хаарманна в собственной неуловимости настолько укоренилась в нем, что однажды он просто утратил всякую бдительность и осторожность. В один из июньских дней 1924 года он познакомился с неким юношей по фамилии Фромме, который сбежал из Берлина от своих родителей и теперь скитался по Германии. Хаарманн предложил ему пожить некоторое время у него, бездомный юноша с радостью согласился. Однако он не знал, какие услуги ему придется оказывать хозяину дома за этот приют. Тот же в первую их совместную ночь изнасиловал мальчишку.
Эта связь длилась несколько дней, после чего юноша Хаарманну надоел и он прогнал его прочь. Фромме в ответ потребовал денег за те специфические услуги, которые он оказывал. Это требование настолько взбесило Хаарманна, что он схватил наглого мальчишку за шиворот и собственноручно привел… в полицию. Это его и погубило.
В полицейском управлении Фромме чистосердечно рассказал о том, что с ним произошло. Полиция арестовала Хаарманна, и в тот же день произвела тщательный обыск. В результате в шкафах Хаарманна была обнаружена куча всевозможной верхней мужской одежды и белья, причем разных размеров. Хаарманн объяснил, что все это он выменял у разных незнакомых ему людей для последующей перепродажи. Его соседи подтвердили, что он действительно иногда занимался подобного рода делами. И все-таки полиция решила проверить все до конца и поместила в газетах объявления о том, что родственники пропавших без вести людей могут прийти и осмотреть вещи, найденные у Хаарманна. И толпы людей потянулись к зданию полиции.