В формах русского ампира, характерных для пушкинского времени, Рерберг разработал и осуществил по заказу Общества поощрения трудолюбия проект здания женской гимназии (до сих пор сохранился проектный макет здания). Пропорции и детали фасада, интерьеры здания, возведенного в 1911—1912 гг. в Большом Казенном переулке (ныне пер. А. Гайдара, средняя школа № 330), отличаются изяществом.
Из других построек Рерберга этого времени отметим красивый бывший особняк Н. В. Урусова на Новокузнецкой улице, 12, торговый пассаж, существовавший на месте нового здания ЦУМа, двухэтажное здание Московско-Брестского технического железнодорожного училища возле Белорусского вокзала, трехэтажное здание ремесленного училища на 1-й Миусской улице, которое в настоящее время входит в состав корпусов Московского химико-технологического института имени Д. И. Менделеева, инфекционные корпуса Московского военного госпиталя в Лефортове и др.
Ежегодник «Архитектурная Москва» писал в 1911 г.: «Иван Иванович Рерберг принадлежит к группе сравнительно молодых, но очень популярных строителей». Начиная с 1910 г. на всех проектах подпись Рерберга была первой, что соответствует его ведущей творческой роли среди соавторов. В отличие от гражданских инженеров, именовавшихся также инженерами-архитекторами, Иван Иванович несравненно глубже знал строительные конструкции и особенности их работы, а также ориентировался в технике строительного производства. Поэтому он смело применял железобетон и другие современные материалы, умело используя заложенные в них потенциальные возможности архитектурного формообразования.
В творчестве И. И. Рерберга ценили четкость и глубину проработки объемно-планировочных решений, умение вписаться в городской ансамбль. Эпоха, породившая разброд в архитектурно-стилевых вопросах, наложила отпечаток на творчество талантливого мастера, хотя он и сумел оградить себя от крайностей и бесплодных творческих увлечений, но его поиски в основном связаны с развитием неоклассицизма.
В самом начале века Иван Иванович жил на казенной квартире в Лефортове (2-я Бауманская ул., 3), затем вблизи Разгуляя, некоторое время в доме № 6 по Доброслободскому переулку и около 20 лет занимал часть двухэтажного особняка в Денисовском переулке, 6. Здесь он разрабатывал проекты, активно пополнял свою библиотеку, свободные часы отдавал акварельной живописи, а летом жил на даче в Болшеве, где сочетал отдых с напряженной работой.
С 1906 г. Рерберг в течение 13 лет преподавал в Училище живописи, ваяния и зодчества (ул. Кирова, 21) и в Московском инженерном училище (так назывался до 1913 г. Московский институт инженеров железнодорожного транспорта (ул. Образцова, 15); выступил инициатором обучения женщин на архитектурных курсах, учредителем и преподавателем которых был долгое время.
После того как Рерберг принял участие в работах по перестройке старого здания на Чистопрудном бульваре, 6, для Правления Московско-Киевско-Воронежской железной дороги, он получил заказ на проектирование и строительство грандиозного Брянского вокзала (с 1934 г.— Киевский) на месте существовавшего деревянного.
При разработке проекта, осуществленного при участии архитектора В. К. Олтаржевского, были использованы достижения мирового архитектурного опыта и практики применения большепролетных арочных покрытий над платформами. Основу творческих поисков определило расположение вокзала вблизи Москвы-реки и оживленной радиальной городской магистрали, проходящей через Бородинский мост. Мост, построенный за год до рождения И. И. Рерберга по проекту его отца (совместно с инженером И. Ф. Кенигом), в 1912— 1913 гг., перед постройкой вокзала был заменен современным (архитектор Р. И. Клейн, инженер Н. И. Осколков).
Творческий процесс формирования облика вокзала был подобен отработке архитектурных форм комплекса Северного страхового общества. Неоднократно дорабатывался главный фасад с колоннадой на уровне высокого второго яруса, приобрели большее изящество фланкирующие его порталы-крыльца, башня высотой 51 м была вынесена за пределы фасада, а ее первоначальные архитектурные формы переработаны.
Наружный контур всего здания достигает почти 900 м. Залы ожидания просторны и имеют большую высоту, площадь самого большого из них — центрального более 900 м². Позади залов ожидания было четыре подъездных пути под стеклянным ангароподобным покрытием-дебаркадером. В качестве конструктивной основы этого покрытия шириной 47 м, длиной 231 м и высотой 30 м Рерберг предусмотрел арки из крупных ажурных металлических элементов, попарно соединенных в верхней части. Их конструирование, изготовление и установку взяла на себя специализированная фирма Бари, главный инженер которой, выдающийся конструктор-механик В. Г. Шухов, не меняя принципиально конструкцию, рационализировал ее, что упростило изготовление и сократило стоимость. Шухова признают не только исполнителем, но и автором этого уникального покрытия.
Летом 1914 г. состоялась церемония закладки здания. В выполнении декоративно-отделочных работ приняли участие скульптор С. С. Алешин (скульптуры «Труд» и «Урожай» на главном фасаде и др.), Ф. И. Рерберг (участие в росписи плафонов) и другие мастера. Основные работы были завершены в 1917 г.
В 1920 г. И. И. Рерберг провел дополнительные работы на Киевском вокзале, главным образом отделочные. Иван Иванович намечал создание большой площади, связывающей вокзал с городом. Современную площадь Киевского вокзала можно рассматривать как воплощение замыслов И. И. Рерберга.
Небезынтересна дальнейшая судьба этого крупного вокзального здания. В 1940—1945 гг. к нему был пристроен в конце северного фланга корпус с кассовым залом и вестибюлем метро (по проекту Д. Н. Чечулина), а затем в самом здании проведены большие работы, насытившие интерьеры рядом новых деталей, однако не отвечающих рерберговскому направлению. Реставрация 1979—1981 гг. была направлена на обновление сложившейся отделки и архитектурных деталей. Одновременно были проведены ремонт и реконструкция металлического покрытия над перронами, несколько изменены конструкции и внешний вид кровли: ступенчатыми рядами уложено более 2800 щитов в виде металлических рамок и специального стекла повышенной стойкости, в том числе цветного.
В начале 1920-х гг. Моссовет передал Киевскому вокзалу стоящее вблизи четырехэтажное жилое здание, построенное в 1882 г. Иван Иванович перестроил его под железнодорожный привокзальный клуб, вскоре преобразованный в клуб имени А. И. Горбунова.