Проект здания Центрального телеграфа был разработан с большой тщательностью. Применение монолитного железобетонного каркаса и вынос всех четырех лестниц за пределы основного объема здания во внутренний двор позволили устроить на разных этажах очень просторные помещения, общая площадь которых составила 40 тыс. м². Срезанные углы главного фасада обусловлены градостроительными возможностями. Благодаря одному из таких срезов здание хорошо «смотрелось» с тогда еще не реконструированной, узкой Тверской улицы (ныне ул. Горького). Срезая острый угол для устройства главного входа, Рерберг выполнил эту часть здания в виде широкой пятигранной башни, возвышающейся на 10 м над остальными фасадами. Башня оборудована вращающимся стеклянным глобусом. На приподнятой над тротуаром площадке перед входом два обелиска из серого гранита, несущие ажурную чугунную консольную раму в виде переплетения дубовых веток для подвески фонарей. В подобной манере выполнены решетки верхнего обрамления башни, в которые включены изображения серпа и молота, а также и кронштейны для флагов. Эти детали отлиты по рисункам художника-графика Ф. И. Рерберга.
Для отделки фасадов использованы серый украинский гранит и декоративная штукатурка с включением крошки этого гранита. Автору проекта удалось удовлетворить требования задания: «Выявить при обработке фасадов не только производственный и общественный характер здания телеграфа и радиоузла, но и придать ему монументальность, соответствующую городу Москве, как столице СССР».
Строительство Центрального телеграфа было завершено в 1927 г.— к десятой годовщине Октября. Оно ознаменовало начало реконструкции главной столичной магистрали, которая на этом участке была расширена на 6,5 м, а ее уклон несколько смягчен. Одновременно были расширены улицы Белинского и Огарева — тоже на 6,5 м. После того как улица Горького подверглась дальнейшей реконструкции, значение Центрального телеграфа еще более возросло. Тот факт, что оно на протяжении нескольких десятилетий особенно богато иллюминируется в праздники, свидетельствует о его важной роли в ансамбле центра Москвы. В здании Центрального телеграфа также размещается Министерство связи СССР.
Вскоре после завершения столь крупной стройки И. И. Рербергу поручили разработку проекта здания Школы красных командиров имени ВЦИК в Кремле. В 1929 г. был создан совет по строительству этого первого в советское время кремлевского здания. Председателем совета был назначен секретарь Президиума Центрального Исполнительного Комитета СССР А. С. Енукидзе. Строительное управление возвело здание в 1930—1934 гг.
Три стоящие параллельно друг другу трех-четырехэтажные корпуса объединены главным, который хорошо виден с Большого Каменного моста и из-за Москвы-реки. Заботясь о том, чтобы новая постройка скромно и спокойно соседствовала с созданным М. Ф. Казаковым зданием бывшего Сената (ныне Совет Министров СССР) — шедевром русского классицизма, Рерберг так решил фасад, обращенный к Ивановской площади, чтобы он не задерживал взгляда человека, проходящего по противоположной стороне площади. Основное внимание автор сосредоточил на фасаде главного корпуса, решенном в характере русского классицизма XVIII в. По облицованному гранитом первому этажу идет колоннада высотой в два этажа. Фасад корпуса, стоящего возле кремлевской стены, участвует в создании ансамбля Красной площади, он воспринимается как нечто единое с равным с ним по высоте зданием Совета Министров СССР.
Кремлевское здание еще недостаточно оценено историками архитектуры. Это объясняется происшедшим в середине 1930-х гг. переходом от конструктивистских тенденций к использованию традиций прошлого и приемов неоклассицизма. Для Рерберга же это было сохранение и даже утверждение его творческих позиций в вопросах архитектурного стиля.
Важная часть этого крупного здания — большой зал с системой примыкающих к нему помещений. Здесь первоначально располагался клуб имени Я. М. Свердлова, а в 1958—1968 гг.— Кремлевский театр. В настоящее время это здание Президиума Верховного Совета СССР с залом, перестроенным и оборудованным в соответствии с современными требованиями.
Один из опытнейших советских зодчих, И. И. Рерберг находился в стороне от шумных дискуссий и борьбы творческих группировок 20-х гг., но его творческая деятельность в этот период была в высшей степени активной, насыщенной постоянными исканиями и решением больших практических задач. С 1928 г., когда он поселился в доме № 12 по Брюсовскому переулку (ныне ул. Неждановой), его квартира стала как бы проектной мастерской. Здесь Иван Иванович выполнил целый ряд работ. Первой из них был конкурсный проект здания Государственной библиотеки имени В. И. Ленина.