Заявляя о фальсифицированности дела «Весна» (что соответствовало действительности), Евдокимов и четверо других высокопоставленных работников ОГПУ рассчитывали, опираясь на поддержку некоторых членов Политбюро, убедить в своей правоте также и Сталина. Однако сделать этого не удалось. На заседании Политбюро, рассматривавшем возникший конфликт, Сталин оппозиционеров не поддержал, а лично Евдокимова упрекнул в том, что тот оказался в компании склочников.
Все пятеро были освобождены от занимаемых должностей, трое из них навсегда покинули ОГПУ, а Евдокимов, пострадавший меньше других, был переведен на вполне престижный пост полномочного представителя ОГПУ по Ленинградской области. Однако уже через две недели стараниями Ягоды он был освобожден и от этой должности и направлен руководить полномочным представительством ОГПУ по Средней Азии. Для здоровья Евдокимова тамошний климат был просто губительным, и с того времени его неприязненное отношение к Ягоде сменилось уже ничем не прикрытой враждой.
В конце 1932 года Евдокимов был возвращен на Северный Кавказ, где, в связи с проводившейся в тот период коллективизацией, сложилась очень непростая обстановка. Действуя решительно и жестко, Евдокимов сумел переломить ситуацию, и к весне 1933 г. с крестьянскими волнениями в крае было покончено.
В январе 1934-го Сталин перебрасывает его на партийную работу и делает первым секретарем Северо-Кавказского крайкома партии. С этого момента начинают складываться отношения Евдокимова и Ежова, которые становятся особенно тесными после того, как в начале 1935 года Ежова назначают заведующим Отделом руководящих партийных органов. В этом качестве он помогает «молодому» партработнику Евдокимову подбирать кадры для партийного и советского аппарата, дает ценные советы в отношении проводившихся в тот период проверки, а затем и обмена партийных документов.
Как секретарь ЦК, курирующий органы госбезопасности, Ежов в беседах с Евдокимовым неоднократно затрагивал вопросы, касающиеся НКВД, всячески поощряя при этом критические замечания Евдокимова в адрес Ягоды. Во время одной из таких бесед, незадолго до назначения Ежова наркомом внутренних дел, когда вероятность такого назначения стала уже вполне очевидной, Евдокимов обратился к нему с таким предложением: «Бери, Николай Иванович, в НКВД и меня. На пару рванем так, что чертям станет тошно»{273}. Ежов промолчал, но по выражению его лица Евдокимов понял, что идея руководить НКВД с кем-то на пару не показалась ему особенно привлекательной.
В дальнейшем, став наркомом и столкнувшись со сложностью управления громоздкой машиной НКВД, Ежов готов уже был взять Евдокимова себе в помощники, однако на этот раз против оказался Сталин.
На протяжении 1936 года в северокавказской парторганизации, как и во множестве других, были выявлены всевозможные «антипартийные элементы». Обнаружились они и в окружении Евдокимова, и на февральско-мартовском пленуме ЦК ему пришлось каяться в том, что он, «прожженный чекист», не сумел вовремя распознать врага.
Человека с притупившейся политической бдительностью нельзя было ставить на НКВД, поэтому на просьбы Ежова назначить Евдокимова его первым заместителем вождь ответил отказом. А между тем вопрос о первом заместителе стал для Ежова в начале 1937 года весьма актуальным. Выполнявший эти обязанности Я. С. Агранов на том же февральско-мартовском пленуме ЦК подвергся резкой критике за недостаточную решительность в борьбе с врагами народа — троцкистами и зиновьевцами. Это был верный признак того, что его карьера подходит к своему завершению. Для самого Агранова такой поворот, возможно, стал неожиданностью, но Ежов о претензиях Сталина к его первому заместителю знал, естественно, еще до пленума, и, поскольку кандидатура Евдокимова тоже не проходила, нужно было подыскивать какой-то другой вариант.
После непродолжительных раздумий Ежов сделал выбор в пользу М. П. Фриновского. Свою деятельность в органах госбезопасности Фриновский начинал под руководством Евдокимова в Особом отделе Московской ЧК. Когда в конце 1919 г. Евдокимов был переведен на Украину, он вызвал Фриновского к себе, и на протяжении последующих семи лет они работали вместе. В 1926 году Фриновский, тогда первый заместитель полномочного представителя ОГПУ по Северо-Кавказскому краю, был командирован на курсы усовершенствования высшего начсостава при Военной академии РККА им. Фрунзе. После окончания учебы был оставлен в Москве и назначен сначала помощником начальника Особого отдела ОГПУ Московского военного округа, а затем командиром-комиссаром дивизии особого назначения им. Дзержинского при коллегии ОГПУ. В 1930 году во главе войскового отряда был направлен в Дагестан, а затем в Азербайджан, где участвовал в подавлении крестьянских восстаний, происходивших там в период коллективизации. С сентября 1930 г. по апрель 1933 г. выполнял обязанности председателя ГПУ Азербайджана, затем был возвращен в Москву и назначен начальником Главного управления пограничной охраны и войск ОГПУ, переименованного в 1934 г. в Главное управление пограничной и внутренней охраны НКВД.