В 1896 году Министерство внутренних дел непосредственно отвечало за проведение первой переписи населения Российской империи. По результатам переписи население России составило 129 млн жителей, из них только 13 % приходилось на городское население, а общий годовой прирост тогда составлял Г млн 600 тыс. человек.
Будучи министром, Горемыкин продолжал участвовать в комиссии по пересмотру судебных уставов, в которую он был включен еще в свою бытность в Министерстве юстиции. Что же касается политических вопросов, здесь он фактически продолжал политику своего предшественника И. Н. Дурново, отличавшуюся особой жесткостью. От былого либерализма не осталось и следа. Особое внимание уделялось пресечению студенческих беспорядков и борьбе с «вольнодумством» прессы. При Горемыкине либеральные издания подвергались гонениям и притеснениям – многие газеты и журналы были на подозрении. Сначала их предостерегали, потом запрещали и безжалостно закрывали.
До этих пор карьера Горемыкина складывалась удачно. Однако 20 октября 1899 года, находясь в заграничной поездке по Англии и Франции, он неожиданно для себя и без всяких объяснений был уволен с должности министра внутренних дел. Император назначил Ивана Аоггиновича всего лишь членом Государственного совета с оставлением в должности сенатора. Ему было уже почти шестьдесят семь лет, и казалось, что карьера стареющего юриста клонится к закату.
Но судьбе было угодно распорядиться по-другому. Вследствие различных придворных интриг и борьбы противоположных групп, окружавших императора Николая II, Горемыкин все же сумел «взлететь» на чиновничий Олимп. Он стал премьер-министром и возглавил правительство Российской империи. До него юристы редко когда поднимались так высоко. По мнению современников, назначению Горемыкина способствовала рекомендация Д. Ф. Трепова, бывшего столичного генерал-губернатора, а затем дворцового коменданта, «полу-диктатора», как отзывались о нем некоторые приближенные к императору вельможи. Как писал С. Ю. Витте, Трепов рассчитывал, что Горемыкин на посту председателя Совета министров будет во всем слушаться его советов, и даже подготовил для него инструкцию, как вести себя в Государственной думе. Но его надежды не оправдались. 22 апреля 1906 года, перед самым открытием первой Государственной думы, кабинет премьер-министра С. Ю. Витте пал, и на место председателя Совета министров был поставлен Горемыкин, который одновременно оставался членом Государственного совета и сенатором. В правительстве произошли основательные перестановки, были заменены все министры (за исключением трех: военного, морского и торговли).
27 апреля 1906 года в Георгиевском тронном зале Зимнего дворца состоялось торжественное открытие Государственной думы и преобразованного Государственного совета. После торжественного молебна император произнес «тронную речь». Из Зимнего дворца депутаты направились в Таврический, где в четыре часа был отслужен еще один молебен, а в пять часов все заняли свои места в зале заседаний. Весь кабинет министров во главе с Горемыкиным поместился в ложе министров, а члены Государственного совета – в своей ложе. По поручению императора открыл Государственную думу статс-секретарь 3. В. Фриш. Председателем Думы избран был С. А. Муромцев.