Некоторые историки считают, что именно в это время произошел некий разрыв в отношениях между Сухомлиновым и инспектором кавалерии великим князем Николаем Николаевичем (младшим). Возможно, это произошло потому, что Владимир Александрович был достаточно близким к известному в то время военачальнику генералу М. И. Драгомирову, который в конце XIX века командовал войсками Киевского военного округа и который не раз негативно отзывался о великом князе. Факт в том, что по предложению последнего в апреле 1898 года Владимир Александрович назначается начальником 10-й кавалерийской дивизии, входившей в состав войск Киевского военного округа, штаб которой располагался в Харькове. С мая 1899 года он – начальник штаба Киевского военного округа, с октября 1902 года – помощник командующего Киевским военным округом.
Вступив в эту должность, В. А. Сухомлинов начал чаще бывать в Петербурге, где у него завелись обширные знакомства в Военном министерстве и при дворе. Он стал скрытный и осторожный, щедрый на подарки и лесть «нужным» людям. Видимо, поэтому, когда с началом Русско-японской войны генерал Куропаткин предложил Сухомлинову занять пост его начальника штаба, он отказался, объяснив это тем, что не знаком с дальневосточным театром военных действий и сибирскими войсками. На самом же деле Владимир Александрович из дворцовых источников знал, какие на самом деле плетутся интриги вокруг этой войны. Придворные связи проявились и в том, что после произошедших в Киеве беспорядков в октябре 1905 года и в связи с уходом в отставку генерала М. И. Драгомирова 23 октября 1905 года Сухомлинов был назначен на пост киевского, подольского и волынского генерал-губернатора, с осени 1906 года – генерал от кавалерии. Генерал-губернаторство Сухомлинова пришлось на трудное время революции 1905–1907 годов. Несколько раз он становился целью террористов, а после основания Киевского отдела монархической организации «Русское собрание» был его председателем.
2 декабря 1908 года В. А. Сухомлинов был назначен начальником Генерального штаба. Принимая эту должность, он настоял на своем подчинении военному министру, считая необходимым единоначалие. Также он назначается членом Совета Государственной обороны, который возглавляет великий князь Николай Николаевич (младший).
11 марта 1909 года Владимир Александрович занял пост военного министра. С этого момента вся его деятельность была направлена на завершение реформ в русской армии, начатых его предшественниками. Правда, решение задач реформирования армии осуществлялось медленно, не всегда в правильном направлении. Перевооружение велось в основном за счет закупок оружия за рубежом, собственная военная промышленность была очень слабой. Мало внимания уделялось освоению новой техники – самолетов, автомобилей, пулеметов. При Сухомлинове были расформированы резервные и крепостные войска, за счет чего были усилены полевые войска (число армейских корпусов выросло с 31 до 37). В 1911 году была создана военная контрразведка.
В то же время, при работе в Совете министров у Сухомлинова сложились натянутые отношения с министром финансов В. Коковцовым, который стремился всеми средствами сократить военные расходы.
С началом войны, в связи с развертыванием Ставки Верховного главнокомандующего, роль военного министра свелась в основном к вопросам снабжения действующей армии. При этом интриги между Сухомлиновым и некоторыми другими министрами продолжались. Поэтому когда к весне 1915 года обнаружился большой недостаток снарядов и другого военного снаряжения, Сухомлинова стали считать главным виновником плохого снабжения русской армии. Инкриминировались ему и другие «дела», подавляющая часть из которых была следствием интриг в высших кругах власти.
13 июня 1915 года под давлением общественного мнения Сухомлинов был уволен с должности военного министра. Вскоре после этого было начато расследование его деятельности на посту министра. 8 марта 1916 года он был уволен с военной службы, а 29 апреля 1916 года – арестован и находился в заключении в Трубецком бастионе Петропавловской крепости на время следствия. Но оно результатов не дало, и 11 октября 1916 года Владимир Александрович был переведен под домашний арест, и у него появилась возможность публичного оправдания. Со стороны императора и других сановников предпринимались попытки свернуть дело Сухомлинова, но министры юстиции А. А. Хвостов и А. А. Макаров не допустили этого, угрожая отставкой.