Государственная дума сразу же заявила свои права «на верховную власть». После горячих прений она выработала так называемый адрес, в котором было указано, что спокойная и правильная работа Думы может происходить только при условии ответственности всех министров перед народными представителями и что необходимо «освободить Россию от действия чрезвычайных законов». Дума предлагала выработать законы о полном уравнении всех граждан независимо от национальности и пола, о равноправии крестьян и охране наемного труда, о всеобщем бесплатном обучении, справедливом распределении налогов, преобразовании местного управления и самоуправления на началах всеобщего избирательного права. Она высказалась за аграрную реформу и наделение крестьян землей за счет принудительного отчуждения земель частнособственнических, казенных и удельных, за отмену смертной казни и исключительных законов, за проведение полной политической амнистии.
Ответить на все эти запросы предстояло председателю Совета министров Горемыкину. 13 мая 1906 года ему пришлось выступить в первой Государственной думе со своей программой. Он заявил, что Совет министров, полагая в основании своей деятельности соблюдение строгой законности, готов оказать полное содействие разработке всех вопросов, поднятых Государственной думой. Тем не менее Горемыкин особо подчеркнул, что изменение избирательного закона находит сейчас преждевременным, а к удовлетворению насущных нужд сельского хозяйства, к вопросам о равноправии крестьян, начальном образовании, налоговой системе и преобразовании местного самоуправления «правительство отнесется с особым вниманием». Земельный вопрос на основаниях, предложенных Думой, правительство считает недопустимым. Что касается исключительных законов, то правительство считает себя обязанным ограждать спокойствие людей всеми способами. Относительно политической амнистии его кабинет находит, что «настоящее смутное время» не отвечает «благу помилования преступников, участвовавших в убийствах, грабежах и насилии».
В. И. Гурко, слушавший речь Горемыкина, писал: «Голос Горемыкина был слабый, и, хотя в зале господствовала полная тишина, его расслышать было трудно, а потому принятая предосторожность об одновременной раздаче членам Государственной думы печатных экземпляров речи Горемыкина оказалась весьма кстати. На одном лишь месте своей речи Горемыкин усилил свой голос, подняв даже при этом в виде угрозы указательный палец, а именно где говорилось о недопустимости принудительного отчуждения частновладельческих земель в целях дополнительного наделения крестьян землей».
Первая Государственная дума, выслушав подобную «декларацию» председателя Совета министров, выразила его кабинету недоверие. Противостояние закончилось роспуском Думы. Произошло это, как отмечали современники, по инициативе самого Горемыкина, который доложил императору, что с этой Думой правительство ничего сделать не в состоянии и что Дума будет «революционизировать страну». Очень скоро, 7 июля 1906 года, Николай II подписал указ о роспуске Государственной думы. Вслед за ее роспуском 8 июля последовала и отставка самого Горемыкина – его место занял уверенно набиравший силы министр внутренних дел П. А. Столыпин.
Однако Горемыкин все еще оставался важной политической фигурой. В 1905 году вышла в свет его новая книга «О торговле в кредит», а в 1907 году – «Аграрный вопрос». Иван Логгинович все еще был членом Государственного совета и сенатором, а в мае 1910 года даже пожалован в статс-секретари императора.
30 января 1914 года Горемыкин вторично призывается на высший государственный пост – председателя Совета министров, сменив В. Н. Коковцова. На этот раз в кресле председателя он продержался два года, хотя непримиримая конфронтация с Думой продолжалась. Его первое же выступление в Государственной думе ознаменовалось огромным скандалом. В Думу съехались все министры, чтобы послушать своего председателя. Но как только он появился на трибуне, со стороны левых поднялся такой невообразимый шум, что ничего не было слышно. В зале раздавались крики «долой!» и «вон!». Правые хотели заглушить протесты аплодисментами, но это им не удалось. Тогда председатель Государственной думы М. В. Родзянко вынужден был предложить Горемыкину покинуть трибуну «до водворения порядка». Поскольку депутаты и не думали униматься, Родзянко предложил лишить наиболее «крикливых» из них права участвовать в пятнадцати заседаниях. Кончилось тем, что самых несговорчивых вывели из зала при помощи приставов. Только после этого Горемыкин произнес свою речь.