Альберт Шпеер отбывал все двадцать лет своего заключения в тюрьме Шпандау под Берлином, несмотря на усилия Джона Дж. Макклоя, Верховного комиссара США в Германии, добиться досрочного освобождения Шпеера. В 1956 г. Макклой писал жене Шпеера Маргарите: " У меня есть очень сильное убеждение в том, что Ваш муж должен быть освобожден, и я был бы очень рад, если бы мог сделать что-нибудь для ускорения такого освобождения".
В тюрьме Шпеер тайно работал над мемуарами, которые он должен был опубликовать после освобождения. На клочках туалетной бумаги, обертках от сигарет и бумажных обрывках он записывал воспоминания о своих днях, проведенных вместе с Гитлером и его ближайшим окружением. Писать и отправлять непроверенные записки из Шпандау было запрещено, поэтому Шпеер тайно вывез свои записи через двух сочувствующих голландских медсестер Красного Креста . Записки были доставлены старому другу и коллеге Шпеера Рудольфу Вольтерсу, убежденному стороннику Гитлера, проживавшему в Берлине. В течение двадцати лет Вольтерс кропотливо набирал десятки тысяч этих отдельных бумажных клочков, которые Шпеер продолжал ему присылать. По прошествии двадцати лет они составили тысячестраничную рукопись, которую Вольтерс передал Шпееру после его освобождения. Благодаря авансам, которые Шпеер получал за свои мемуары, он написал два: "Внутри Третьего рейха" и "Шпандау: The Secret Diaries", Шпеер снова стал состоятельным человеком. Он получил от газеты Die Welt 680 тыс. дойчмарок за право сериализации, и аванс в размере 350 тыс. (примерно 2,4 млн. долл. в 2013 г.) за право издания книги на английском языке. Альберт Шпеер купил спортивный автомобиль и начал новую жизнь в качестве успешного автора.
Он так и не поблагодарил и не признал Рудольфа Вольтерса за его двадцатилетнюю работу, по крайней мере, ни в своей книге, ни публично. Спустя десятилетие Шпеер оправдывал это решение перед своим биографом Гиттой Серени, говоря: "Это было сделано для защиты самого Вольтерса". Сын Вольтерса сообщил, что, когда Вольтерс умер, последним словом, которое он произнес, было "Шпеер".
После того как Шпеер отправил Вернеру фон Брауну копию "Шпандау", фон Браун написал письмо своему старому другу и бывшему начальнику из Министерства вооружений и военного производства Рейха, в котором указал, насколько разными были их судьбы за последние двадцать лет. Пока Шпеер находился в тюрьме Шпандау, звезда фон Брауна неуклонно росла. Он поблагодарил Шпеера за книгу. " Как часто я думал о Вас в течение этих двадцати долгих лет, когда в моей жизни происходило так много событий", - писал фон Браун.
Когда Зигфрид Кнемайер узнал, что Альберт Шпеер вышел из тюрьмы, Кнемайер отправился в путешествие, чтобы навестить своего старого друга в Германии. Последний раз они виделись в Берлине в апреле 1945 года, когда Кнемайер помогал Шпееру разрабатывать план побега в Гренландию. В те годы, когда Шпеер находился в тюрьме, Кнемайер работал на США - бывшего заклятого врага обоих. Будучи сотрудником ВВС США в 1940-х, 1950-х, 1960-х и 1970-х годах, Кнемайер работал над секретными и несекретными проектами, получал награды и поднимался по служебной лестнице. Для ВВС он создал программу Pilot Factors Program , которая координировала технологии при переходе от дозвуковых к сверхзвуковым полетам. После его ухода в отставку в 1977 г. представители Пентагона наградили Кнемайера высшей гражданской наградой - Премией за выдающиеся гражданские заслуги. Кнемайер умер от эмфиземы два года спустя, 11 апреля 1979 года. Его последним желанием было " немедленно доставить его тело в крематорий " и не проводить похорон. "Он с одинаковым энтузиазмом и преданностью служил своей родной стране, Германии, и своей приемной стране, Америке, - сказал его сын Сигурд Кнемайер.
Альберт Шпеер до последнего отрицал, что ему было непосредственно известно о Холокосте. Спустя 67 лет после допроса Шпеера в люксембургском допросном центре "Ашкан" Джон Долибуа по-прежнему возмущен этим. Я спросил Шпеера, был ли он на Ванзейской конференции, на которой Гиммлер объявил об "окончательном решении" по уничтожению евреев", - объясняет Долибуа. По моему мнению, тот, кто был на этой встрече, не может утверждать, что ничего не знал о лагерях уничтожения - Освенциме, Собиборе, Биркенау". Шпеер сначала отрицал, что был в Ваннзее, а потом признался [мне], что был там, но ушел до обеда и пропустил важные объявления. Другие тоже утверждали, что Шпеер говорил неправду. Я считаю, что его следовало бы повесить".