В годы гражданской войны строительная деятельность в Москве была весьма ограниченной, а первые организационные шаги в этом направлении носили специфический характер. Так, ведавший устройством противоэпидемических санпропускников на железных дорогах Комитет пропускных санитарных сооружений был реорганизован в Особый комитет по строительству г. Москвы (Оском). И. И. Рерберг как начальник технического отдела этого комитета сочетал здесь организационно-техническую деятельность с производственной и проектной. Одной из работ Рерберга в этот период была частичная переработка проекта и завершение законсервированного с 1915 г. строительства пятиэтажного жилого дома Хлебопродукта на Новинском бульваре (здание не сохранилось). Одновременно он построил деревянный павильон Хлебопродукта на Всероссийской сельскохозяйственной и кустарно-промышленной выставке 1923 г.
Более крупным заказом было проектирование и руководство надстройкой двумя этажами большого трехэтажного конторского здания Варваринского акционерного общества на Мясницкой (ныне ул. Кирова, 20), возведенного в 1890-х гг., а также проектирование и строительство новых корпусов во дворе. Здесь разместился созданный после гражданской войны Нефтяной синдикат СССР (сейчас Министерство химической промышленности СССР). В облике надстроенных этажей видны характерные черты творческого почерка Рерберга: при скупом использовании простых архитектурных деталей и отдельных лепных украшений достигнута необходимая увязка новой части фасада со старой, в равной степени отвечающей деловому назначению здания. Таким образом, И. И. Рерберг выполнял одни из первых заказов столицы по строительству жилых, административных и общественных зданий.
В Оскоме Иван Иванович выполнил заказ Института В. И. Ленина при ЦК ВКП(б), в те годы размещавшегося в особняке на Б. Дмитровке (ул. Пушкинская, 24). Здесь он воспроизвел точную копию кабинета В. И. Ленина в Кремле.
Учитывая присущее И. И. Рербергу бережное отношение к существующим произведениям зодчества, его пригласили выполнять обязанности архитектора три крупнейших столичных театра — Большой, Малый и Художественный. По свидетельству А. В. Щусева, он «много сделал работ для этих театров».
Первые из этих работ относились к Московскому Художественному театру, который благодаря энергии К. С. Станиславского в 20-х гг. создавал свои филиалы, студии и другие «ответвления». Сохранился макет интерьеров одного из относившихся к театру зданий с эмблемой — изображением чайки в узоре паркетного пола, выполненный по чертежам Рерберга в 1921 г.
Особое значение имеет участие И. И. Рерберга в ремонте здания Большого театра. В результате сильной осадки фундаментов тяжело нагруженных внутренних стен здание пришло в аварийное состояние. В 1921—1923 гг. Иван Иванович руководил сложными и очень ответственными работами по устройству новых фундаментов, в то время как театр продолжал функционировать. Помимо перестройки фундаментов, Рерберг переделал наиболее деформировавшиеся перекрытия и перекосившиеся ложи ярусов.
Через три года Иван Иванович сделал проект перепланировки фойе, репетиционных залов и некоторых артистических помещений, а также переустройства лестниц возле гардеробов. Проект был основан на глубоком изучении истории здания, результаты которого Рерберг опубликовал. Осуществление этого проекта велось под его постоянным руководством до 1932 г.
В 1925 г. было составлено задание на проектирование здания Центрального телеграфа, включающего радиоузел и междугородную телефонную станцию. Провели открытый конкурс, в котором участвовали многие известные архитекторы, а затем персонально было заказано еще два проекта, один из них И. И. Рербергу. Выполненный проект хорошо соответствовал всему комплексу функциональных заданий, а также требованию монументальности архитектурного решения. Несмотря на возражения представителей нового творческого направления в архитектуре, этот проект был утвержден Моссоветом в начале марта 1926 г., а 22 мая была совершена церемония закладки здания.
Строительные работы развернулись быстрыми темпами с участием 2 тыс. рабочих, их вело акционерное общество Госпромстрой. Решение технических вопросов сначала было в ведении Оскома. Затем И. И. Рерберга назначили руководителем работ по завершению проектирования здания и начальником строительства. Расчетно-конструктивную часть проекта выполнил инженер С. 3. Гинзбург, который затем был назначен заместителем начальника строительства. В дальнейшем он стал известным организатором строительной отрасли — первым наркомом строительства.