Вскоре после выхода из школы Хаарманн пытается изнасиловать двух пятилетних девочек и производит развратные действия с двумя мальчиками. Его арестовывают и после испытания в психиатрической лечебнице признают невменяемым, но подлежащим, в виду его социальной опасности, содержанию в больнице. Из больницы ему удается бежать. Путем обмана он достает справку о несудимости и убегает в Швейцарию. Здесь он остается два года. Возвратившись на родину, он поступает на военную службу, ведет себя примерно, но осенью 1901 г., во время маневров, падает без сознания; его отправляют в лазарет, а с 28 июля 1902 г. его, вследствие «слабоумия», освобождают с пенсией от службы. В этот период его ссоры с отцом доходят до того, что он подает в суд иск к отцу о содержании. Отец, в свою очередь, требует, чтобы сына, как социально-опасного, арестовали. Судебный врач исследует его, находит его грубым, легко возбуждающимся, эгоистичным и мстительным, но отнюдь не душевнобольным или социально-опасным. Отца он с тех пор ненавидит, и эта ненависть остается у него до конца дней. Через 23 года он на суде кричит: «Я хочу, чтобы меня казнили, но моим последним словом будет проклятие моему отцу».
После неудачной попытки торговать консервами Хаарманн опускается все ниже и становится профессиональным вором. За период с 1905 по 1913 г г. он не менее 9 раз отбывал наказание за кражи. С 1913 по 1918 г г., т. е. за 6 лет он проводит в тюрьме 5 лет и 2 месяца. В 1919 г. он судится за оскорбление, в 1920 г. — за кражу, в 1922 г. — за нищенство.
В 1918 г. против Хаарманна, который давно уже был известен полиции как гомосексуалист, было возбуждено дело, в котором его имя впервые ставится в связь с убийством. В начале октября 1918 года в Ганновере бесследно исчезло двое молодых людей по фамилии Кох и Роте. Полицейское дознание установило, что обоих исчезнувших видели накануне исчезновения с Хаарманном, и что Хаарманн находился с ними в гомосексуальной связи. Возникло подозрение, что они были убиты Хаарманном. У Хаарманна был произведен обыск, который не дал никаких результатов. Много позже Хаарманн рассказал, что у него за печью во время этого обыска лежала завернутая в газету голова убитого Рота. Однако полиция не нашла ее, и за отсутствием улик дознание было прекращено, а Хаарманн был привлечен к ответственности лишь за гомосексуальную связь, но и в этом преступлении за недоказанностью его был оправдан. Родители исчезнувшего Коха, неудовлетворенные недостаточно энергичными действиями гамбургских властей, обратились к содействию местного сыскного бюро. Бюро это установило садистские наклонности Хаарманна и собрало материал, убедительно доказывавший, что Кох и Роте убиты Хаарманном. В 1921 г. родители Коха, на основании этого материала, ходатайствовали о возобновлении дела против Хаарманна, но ходатайство их осталось без удовлетворения.
В 1922 г. против Хаарманна возникло аналогичное обвинение. Две женщины, часто посещавшие его, однажды, зайдя в его комнату, заметили, что на кровати кто-то лежит, повернувшись лицом к стене. Поза и неподвижность лежавшего показались им странными. Они спросили у хозяина, не покойник ли это. Хаарманн шепотом ответил: «Тише, он спит». На другой день эти же женщины снова пришли к Хаарманну в его отсутствие. Молодого человека уже не было, но в комнате у Хаарманна лежал его костюм. Это показалось им подозрительным. Подозрительным почему-то показался обеим женщинам и горшок с вареным мясом, который они заметили здесь же в комнате. По какой-то странной ассоциации они сопоставили это мясо с виденным ими спящим молодым человеком, взяли кусочек мяса, отправились с ним в полицию и рассказали обо всем виденном. Мясо было тотчас же исследовано судебным врачом, который отверг подозрение, что это человеческое мясо, и решил, что это была «свинина». Тем не менее, в комнате Хаарманна был проведен обыск, не давший опять-таки никаких результатов. На вопрос, каким образом у Хаарманна оказался костюм лежавшего у него на кровати молодого человека, Хаарманн с улыбкой ответил, что молодой человек у него ночевал и остался ему должен за ночлег. Так как у него не было денег, то он оставил свой новый костюм, а получил от Хаарманна старый. Это наивное объяснение удовлетворило органы розыска.
К этому нужно прибавить, что ганноверская полиция уже много лет отлично знала о гомосексуальных наклонностях Хаарманна и об его неестественных отношениях с молодыми людьми. Знали также, что к Хаарманну непрестанно ходят всевозможные молодые люди. Однако Хаарманн ни разу не был привлечен к ответственности за гомосексуализм. Защитники ганноверской полиции, на которую сильно нападали впоследствии за ее бездеятельность в отношении Хаарманна, указывали, что соответствующий параграф 175-го германского уголовного уложения очень трудно применим, так как требует доказанности самого акта сношения, а это доказать почти невозможно.