Еще в 1941 г. глава Службы безопасности СД (Sicherheitdienst, SD) Рейнхард Гейдрих завел фон Вальтера обширное досье и стал инициатором расследования, предметом которого послужили допущенные последним нарушения принципов национал-социалистической морали. После убийства Гейдриха чешскими патриотами в 1942 г. дело фон Вальтера перешло преемнику Гейдриха — Эрнсту Кальтенбруннеру, который не скрывал своей антипатии к фон Вальтеру и не упускал случая его очернить.
Из протоколов, которые скрупулезно вел Адольф Эйхман, известно, что фон Вальтер присутствовал на совещании в Ваннзее 20 января 1942 г. (Ам Гроссен Ваннзее, N 56) происходившем под председательством Гейдриха. Целью этого совещания было «решение еврейского вопроса в Европе» — иными словами, обсуждение возможностей и средств массового уничтожения евреев. Фон Вальтер, которому было поручено изучить вопрос о смертельной дозе цианистого водорода, известного под названием «Циклон-Б», доложил участникам совещания, что эта доза равна одному миллиграмму на килограмм веса человека. Фон Вальтер сообщил также, что единственный недостаток «Циклона-Б» состоит в том, что срок его хранения ограничивается тремя месяцами. После войны обстоятельные записки по этому поводу были обнаружены в бумагах фон Вальтера.
Участие в этом совещании, равно как и в предпринятых в начале 1942 г. акциях по разгрому «лесного братства» (в «братство» входили бежавшие из концлагерей узники, а также участники русского партизанского движения и еврейского сопротивления, скрывавшиеся в лесах и совершавшие диверсии против немцев) и, наконец, деятельное участие в операциях мобильных карательных отрядов (Einsatzkommandos) на восточном фронте снискали фон Вальтеру еще большее уважение и восхищение со стороны Гиммлера. В 1942 г. фон Вальтер получил звание оберштурмбанфюрера СС и был назначен комендантом одного из концентрационных лагерей.
На этом посту под непосредственным руководством Рихарда Глюкса расцвели как непомерное тщеславие фон Вальтера, так и его скрытые садистские наклонности. Проявив изобретательность и деловитость на этом новом поприще, фон Вальтер приобрел как горячих поклонников, так и недоброжелателей. Ослепленный чувством собственного превосходства, непоколебимой уверенностью в своих возможностях и в поддержке высоких покровителей, он попросту игнорировал своих противников, что в конечном итоге привело его к политическому краху. К 1943 г. с одобрения Кальтенбруннера противники фон Вальтера развязали открытую кампанию по его дискредитации. Непосредственным поводом для этой кампании послужило покушение на жизнь фон Вальтера, дважды предпринятое представителями лагерного сопротивления. Во время второго покушения он был ранен в ногу осколком гранаты и до конца жизни страдал хромотой. Поскольку начальство усмотрело в этих, пусть и не удавшихся, покушениях на фон Вальтера утрату должной бдительности с его стороны, он усилил и без того жесткий контроль над лагерным персоналом и заключенными. Однако это не принесло желаемого результата: обострившийся к тому времени конфликт с влиятельными партийными боссами, а также проблемы личного характера серьезно повлияли на его способность руководить лагерем и противостоять козням многочисленных противников. К концу войны даже Гиммлер, самый ревностный из его защитников, отвернулся от фон Вальтера. 31 декабря 1944 г. погиб на фронте Дитер Хоффманн, ближайший друг и ровесник фон Вальтера. Таким образом, к концу войны он оказался в изоляции, лишившись как личных друзей, так и политических сторонников.