В самом начале века Иван Иванович жил на казенной квартире в Лефортове (2-я Бауманская ул., 3), затем вблизи Разгуляя, некоторое время в доме № 6 по Доброслободскому переулку и около 20 лет занимал часть двухэтажного особняка в Денисовском переулке, 6. Здесь он разрабатывал проекты, активно пополнял свою библиотеку, свободные часы отдавал акварельной живописи, а летом жил на даче в Болшеве, где сочетал отдых с напряженной работой.
С 1906 г. Рерберг в течение 13 лет преподавал в Училище живописи, ваяния и зодчества (ул. Кирова, 21) и в Московском инженерном училище (так назывался до 1913 г. Московский институт инженеров железнодорожного транспорта (ул. Образцова, 15); выступил инициатором обучения женщин на архитектурных курсах, учредителем и преподавателем которых был долгое время.
После того как Рерберг принял участие в работах по перестройке старого здания на Чистопрудном бульваре, 6, для Правления Московско-Киевско-Воронежской железной дороги, он получил заказ на проектирование и строительство грандиозного Брянского вокзала (с 1934 г.— Киевский) на месте существовавшего деревянного.
При разработке проекта, осуществленного при участии архитектора В. К. Олтаржевского, были использованы достижения мирового архитектурного опыта и практики применения большепролетных арочных покрытий над платформами. Основу творческих поисков определило расположение вокзала вблизи Москвы-реки и оживленной радиальной городской магистрали, проходящей через Бородинский мост. Мост, построенный за год до рождения И. И. Рерберга по проекту его отца (совместно с инженером И. Ф. Кенигом), в 1912— 1913 гг., перед постройкой вокзала был заменен современным (архитектор Р. И. Клейн, инженер Н. И. Осколков).
Творческий процесс формирования облика вокзала был подобен отработке архитектурных форм комплекса Северного страхового общества. Неоднократно дорабатывался главный фасад с колоннадой на уровне высокого второго яруса, приобрели большее изящество фланкирующие его порталы-крыльца, башня высотой 51 м была вынесена за пределы фасада, а ее первоначальные архитектурные формы переработаны.
Наружный контур всего здания достигает почти 900 м. Залы ожидания просторны и имеют большую высоту, площадь самого большого из них — центрального более 900 м². Позади залов ожидания было четыре подъездных пути под стеклянным ангароподобным покрытием-дебаркадером. В качестве конструктивной основы этого покрытия шириной 47 м, длиной 231 м и высотой 30 м Рерберг предусмотрел арки из крупных ажурных металлических элементов, попарно соединенных в верхней части. Их конструирование, изготовление и установку взяла на себя специализированная фирма Бари, главный инженер которой, выдающийся конструктор-механик В. Г. Шухов, не меняя принципиально конструкцию, рационализировал ее, что упростило изготовление и сократило стоимость. Шухова признают не только исполнителем, но и автором этого уникального покрытия.
Летом 1914 г. состоялась церемония закладки здания. В выполнении декоративно-отделочных работ приняли участие скульптор С. С. Алешин (скульптуры «Труд» и «Урожай» на главном фасаде и др.), Ф. И. Рерберг (участие в росписи плафонов) и другие мастера. Основные работы были завершены в 1917 г.
В 1920 г. И. И. Рерберг провел дополнительные работы на Киевском вокзале, главным образом отделочные. Иван Иванович намечал создание большой площади, связывающей вокзал с городом. Современную площадь Киевского вокзала можно рассматривать как воплощение замыслов И. И. Рерберга.
Небезынтересна дальнейшая судьба этого крупного вокзального здания. В 1940—1945 гг. к нему был пристроен в конце северного фланга корпус с кассовым залом и вестибюлем метро (по проекту Д. Н. Чечулина), а затем в самом здании проведены большие работы, насытившие интерьеры рядом новых деталей, однако не отвечающих рерберговскому направлению. Реставрация 1979—1981 гг. была направлена на обновление сложившейся отделки и архитектурных деталей. Одновременно были проведены ремонт и реконструкция металлического покрытия над перронами, несколько изменены конструкции и внешний вид кровли: ступенчатыми рядами уложено более 2800 щитов в виде металлических рамок и специального стекла повышенной стойкости, в том числе цветного.
В начале 1920-х гг. Моссовет передал Киевскому вокзалу стоящее вблизи четырехэтажное жилое здание, построенное в 1882 г. Иван Иванович перестроил его под железнодорожный привокзальный клуб, вскоре преобразованный в клуб имени А. И. Горбунова.