В общине Витте видел не только препятствие к развитию сельскохозяйственного производства, но и одну из форм революционной угрозы, поскольку она воспитывала пренебрежение к праву собственности. Он утверждал в мемуарах, что видел суть крестьянского вопроса именно в замене общинной собственности на землю — индивидуальной, а не в недостатке земли, а стало быть, и не в том, чтобы провести принудительное отчуждение помещичьих владений. Однако все это, по крайней мере по отношению ко времени пребывания Витте в Министерстве финансов, было до некоторой степени запоздалым остроумием. Кроме отмены в 1903 г. круговой поруки за внесение прямых налогов, Витте — он сам это признавал — мало что сделал на министерском посту против общины.
В начале XX века положение Витте стало весьма шатким. Против него объединились влиятельные придворные и правительственные силы, недовольные и самим сановником, и многими аспектами его политической деятельности. Помимо возмущения курсом на ускоренную индустриальную модернизацию страны, ущемлявшую интересы крупных землевладельцев, министр финансов стал объектом критики и в связи с его неприятием внешнеполитического курса на Дальнем Востоке, того курса, который в конце концов завершился русско-японской войной. Как монархисту, Витте была понятна и близка имперская экспансия России, но он всегда ратовал за экономическую экспансию, в то же время постоянно выступая против «демонстрации мускулов» перед лицом своих соседей. Министр финансов был уверен, что любой военный конфликт неизбежно приведет к нежелательным финансовым потерям и социальным потрясениям. Для программы же хозяйственного развития, тесно завязанной на иностранные займы и внешние денежные рынки, война могла стать просто убийственной. Но его доводы и призывы к осторожности мало кого убеждали.
Репин. «Торжественное заседание Государственного совета». Витте — № 66
В 1902–1903 годах антивиттевские настроения объединили весьма влиятельных фигур. Его врагами были муж сестры царя, великий князь Александр Михайлович, министр внутренних цел В.К. Плеве, контр-адмирал, управляющий Особым комитетом Дальнего Востока А.М. Абаза, наместник на Дальнем Востоке адмирал Е.И. Алексеев, председатель Комитета министров И.Н. Дурново. В обществе хорошо знали и о нелюбви к министру финансов императрицы Александры Федоровны, возмущенной и оскорбленной поведением Витте во время тяжелой болезни Николая II осенью 1900 года. Тогда сановник посмел обсуждать публично последствия смерти императора и воцарения младшего брата царя Михаила Александровича.
Натиску такой сильной партии стал уступать Николай II, его поддержка министра финансов начала ослабевать. Развязка наступила в августе 1903 года. Витте был снят с должности министра и переведен на почетный, но почти декоративный пост главы Комитета министров. Однако это не было окончательным крушением служебной карьеры. В последующие несколько лет Сергей Юльевич вновь сумел заявить о себе и вознестись на вершины успеха и известности.
После Цусимы поиски путей прекращения войны с Японией, необходимость чего окончательно выяснилась на военном совещании у царя 24 мая 1905 г., снова вывели полуопального сановника на передний план. Вечером этого дня на «совещании при Совете министров» Витте, задав отрицательный тон обсуждению возможности созыва Земского собора для решения вопроса о мире, заявил, что «дипломатическая партия проиграна» и неизвестно, какой мирный договор удастся заключить министру иностранных дел. А через месяц вести переговоры о мире было поручено ему самому. Это решение, надо думать, нелегко далось царю, учитывая ту позицию в вопросе об ответственности за войну, которую Витте занимал и отстаивал. К тому же справа царю внушали, что Витте мечтает стать президентом Российской республики.