Первым делом он задался целью найти в послевоенной Германии работу по специальности. Чтобы реализовать свой замысел, ему следовало репатриироваться из лагеря раньше тысяч других офицеров. Для этого Дениц симулировал сумасшествие. Целыми днями он, как ребенок, играл с пустыми консервными банками и маленькими фарфоровыми собачками, пока даже лагерное начальство не поверило в его невменяемость. Но стоило Деницу в июле 1919 года оказаться на родине — и его помешательство как рукой сняло.
Однако в соответствии с Версальским договором послевоенная Германия не имела права содержать собственный подводный флот, поэтому дальнейшую морскую службу Дениц был вынужден продолжить на торпедном катере. Осенью 1924 года, после коротких курсов штабных офицеров, его перевели в военно-морское командование в Берлин, где он участвовал в разработке нового военно-морского устава и положений о воинских преступлениях и боролся с проникновением на флот большевиков.
Все изменилось после прихода к власти нацистов, которые с первых же дней своего правления продемонстрировали, что не намерены исполнять все пункты Версальского договора. В начале 1935 года Адольф Гитлер приказал начать строительство субмарин, а уже летом Карл Дениц был назначен «фюрером подводных лодок» и возглавил 1-ю подводную флотилию. В дальнейшем ему не раз приходилось отстаивать перед высшим командованием свой подводный флот, и в конце концов он добился от Верховной Ставки разрешения распоряжаться вверенными ему войсками по собственному усмотрению.
То, что Карл Дениц оправдал оказанное ему доверие, подтвердила Вторая мировая война. Уже к концу первого месяца боевых действий его подводный флот потопил множество вражеских кораблей общим водоизмещением 175 000 т, доказав, что является весьма эффективным орудием ведения войны на море. Особенно остро это на собственной шкуре ощутили британские ВМС. В 1939–1940 годах они по вине подлодок Рейха ежемесячно теряли больше техники, чем могли произвести. После войны Черчилль даже признался, что именно во время битвы за Атлантику почувствовал настоящую угрозу для Англии.
Однако планы Деница на дальнейшее, не менее успешное противостояние под водой рухнули со вступлением в войну США. В отличие от большинства своих соратников, «фюрер подводных лодок» не отличался «шапкозакидательскими» настроениями. Он прекрасно понимал, что появление на океаническом поле боя американских военных кораблей означает для немецкого флота лишь одно: неминуемый крах. К 1942 году, когда и битва за Британию, и советская кампания начали давать сбои, помощь субмарин потребовалась и на других фронтах. Дениц, сколько мог, уговаривал Гитлера, Геринга и других высших руководителей не разделять подводный флот на несколько частей. Но ему все равно пришлось расстаться с большей частью своих субмарин. На борьбу с американским флотом у Деница осталось всего 12–15 лодок. А противостояние это давалось все труднее: союзники разработали новую противолодочную тактику и обзавелись более современной техникой. В итоге, несмотря на то, что доблестные немецкие подводники продолжали топить суда союзников, все больше и больше субмарин не возвращались на базы. К середине 1943 года это соотношение было уже не в пользу Рейха. Например, с июня по август было потоплено 60 торговых судов союзников, а потери немецкой стороны составили 79 субмарин. Всего же из 820 германских подлодок, участвовавших с 1939 по 1945 год в битве за Атлантику, 781 погибла.
Последнее сражение гросс-адмирала Деница произошло в день «D» — день высадки союзников в Нормандии. Он бросал в бой все новые и новые лодки, но переломить ход войны ему не удалось. В период с 6 июня по 31 августа 1944 года немцы потеряли 82 субмарины — почти весь свой подводный флот.
Будучи главным подводником фашистской Германии, Карл Дениц являлся верным сторонником наци № 1 и под занавес войны тоже решил идти со своим фюрером до конца. 20 апреля 1945 года гросс-адмирал присутствовал на последнем дне рождения немецкого вождя, а через несколько дней волей Адольфа Гитлера стал вторым и последним фюрером умирающего Рейха.
Карлу Деницу досталось тяжелое «наследство»: вокруг Берлина сжималось кольцо советских и союзнических войск, а полная и безоговорочная капитуляция Германии была лишь вопросом времени. 2 мая Деницу пришлось перенести свою штаб-квартиру и заодно столицу Рейха в кадетский корпус, находящийся в Мюрвике под Фленсбургом. Понимая, что спасти существующий в Германии режим невозможно, новый фюрер сосредоточил свое внимание на двух проблемах. Он пытался, во-первых, как можно скорее прекратить войну и заключить мир, а во-вторых, по мере возможностей избежать советской оккупации. Однако остановить продвижение Красной Армии Карл Дениц был не в силах, поэтому пошел другим путем. Продолжая параллельно с «фюрерством» занимать пост главкома флота, он послал все имевшиеся в его распоряжении суда в балтийские порты, еще находившиеся в руках немцев, с приказом вывезти оттуда всех беженцев. Таким образом, за последние 8 дней войны из будущей зоны влияния СССР, по приблизительным подсчетам, было вывезено более двух миллионов немцев.