Вступив в партию, Шпеера познакомился с нацистами, которые в дальнейшем заняли видное положение в Третьем рейхе. Таким, например, стал Карл Ханке, будущий гауляйтер Бреслау и министр внутренних дел в правительстве Геббельса.
В 1932 г. Ханке предложил Шпееру переделать здание, в котором размещался берлинский штаб Геббельса. Шпеер успешно справился с этим заданием, и его работа была удостоена похвалы высших деятелей нацистов. А вскоре после прихода нацистов к власти в марте 1933 г. Ханке вызвал Шпеера в Берлин из Мангейма, где в это время работал архитектор. На сей раз Геббельс предложил Шпееру переделать здание, в котором должно было разместиться министерство пропаганды и образования. Это министерство только что возглавил Геббельс.
Во время работы над проектом министерства Шпеер был также привлечен Ханке для оформления массового митинга в Берлине 1 мая 1933 г. Шпеер вспоминал: «Я сделал эскиз большой платформы. За ней располагались три огромных знамени, каждое из которых было выше десятиэтажного дома. Они должны были быть укреплены на деревянных основах. Два знамени были черно-бело-красными, а между ними располагалось знамя со свастикой. (Идея была рискованной: в случае сильного ветра, эти знамена могли превратиться в паруса.) Они должны были быть освещены мощными прожекторами. Эскиз был тут же принят».
В июле 1933 г. Шпееру было поручено украсить поле в Нюрнберге, на котором должен был состояться парад нацистов во время их съезда. На сей раз вместо знамен он предложил водрузить над платформой гигантского орла со свастикой в когтях. Размах крыльев орла был в 30 метров. Шпеер представил свой эскиз лично Гитлеру и тот одобрил его работу.
Осенью 1933 г. Шпеера вместе с другими архитекторами привлекли к работе по переделке здания рейхсканцелярии. Гитлер взял его для осмотра здания, во время которого он долго беседовал со Шпеером. С этой беседы начался почти 12-летний период жизни Шпеера в постоянном общении с Гитлером.
Поскольку карьера архитектора осталась неосуществленной мечтой Гитлера, он принял личное активное участие в переделке рейхсканцелярии. При этом он с живым интересом выслушивал мнение Шпеера и давал ему все новые и новые поручения. Шпеера стали постоянно приглашать на обеды и ужины Гитлера, в которых принимали участие наиболее близкие к нему люди. Вечером после ужина Гитлер и его гости просматривали кинофильмы и часами выслушивали болтливого фюрера. Так, Шпеер вошел в круг приближенных Гитлера и вскоре тот стал брать архитектора с собой в его резиденцию в горах – в Оберзальцберг.
К этому времени ведущим архитектором Третьего рейха считался Пауль Троост, который был сторонником так называемого неоклассического стиля. Отвергая утверждения о чисто германском характере этого стиля, Шпеер ссылался на книгу Джона Буркхарта «Архитектура Америки». Ее автор, указывая на сходство между правительственными зданиями в гитлеровской Германии, рузвельтовских Соединенных Штатах и сталинском Советском Союзе, подчеркивал, что в 30-е гг. не было большой разницы в архитектурных стилях различных стран мира, вне зависимости от их политического строя. Для всех был характерен так называемый «неоклассический» стиль. Шпеер также был верен этому стилю, хотя старался сочетать его с более простым стилем Тессенова.
Смерть Пауля Трооста в августе 1934 г. превратила Шпеера в первого архитектора Германии. Теперь, находясь с Гитлером в Берлине или Оберзальцберге, Шпеер занимался разработкой архитектурных проектов различных государственных учреждений и резиденций высших лиц рейха. Шпеер был создателем нового здания рейхсканцелярии, помещения которой должны были подавлять посетителей своими грандиозными размерами.
Одновременно Шпеер продолжал заниматься оформлением массовых нацистских мероприятий и разработкой архитектурных проектов постоянных мест для их проведения. Именно Шпееру пришла в голову мысль создать необычные световые эффекты в ходе нацистского съезда в Нюрнберге. Шпеер убедил Гитлера передать в его распоряжение 130 противовоздушных прожекторов. Устремленные в небо лучи прожекторов создавали впечатление, по словам английского посла Гендерсона, гигантского «кафедрального собора изо льда».
Шпеер был автором германского павильона на Всемирной выставке в Париже 1937 года. Германский павильон был расположен напротив советского. Шпееру удалось посмотреть хранившийся в тайне эскиз советского павильона, который был увенчан знаменитой статуей В. И. Мухиной «Рабочий и колхозница». Шпеер вспоминал: «Скульптурная пара высотой в десять метров победоносно двигалась по направлению к германскому павильону. Поэтому я создал эскиз кубической массы, которая была поднята на мощные опоры. Казалось, что эта масса останавливает наступление фигур. В то же время на карнизе башни я поставил орла, который держал в когтях свастику. Орел сверху вниз смотрел на русскую скульптуру. Я получил золотую медаль выставки за павильон. Такой же награды удостоились и советские коллеги».