Тем временем в сезоне 1961 года «Торпедо» не смогло повторить свой прошлогодний успех, заняв всего лишь 2-е место. А «золото» чемпионата взяли киевские динамовцы, сумевшие в одном матче сыграть с торпедовцами вничью (1:1), а второй выиграли (2:0). В итоге торпедовцы отстали от них на четыре очка (41 против 45).
Проиграли торпедовцы и Кубок СССР, уступив в финальной игре донецкому «Шахтеру» 1:3. За это поражение из «Торпедо» был уволен ее тренер Виктор Маслов. Что не могло не сказаться на игре его бывших подопечных, которые очень уважали своего наставника. А тут еще и шлейф «пьющей» команды, который зацепился за «Торпедо» в те годы. К тому же и интриги в высших сферах тоже не стоит сбрасывать со счетов — новый суперклуб в Москве был никому не нужен (естественно, кроме самих зиловцев).
Короче, в чемпионате 1962 года торпедовцы скатились вниз турнирной таблицы — на 7-е место (чемпионом стал московский «Спартак», обогнавший торпедовцев на 10 очков — 32 против 22). После этого в команде случился раскол — ее покинули лучшие игроки: Слава Метревели (перешел в тбилисское «Динамо»), Леонид Островский (в киевское «Динамо»), а Геннадий Гусаров (лучший бомбардир команды, забивший в сезоне 1962-го 22 мяча) влился в ряды московского «Динамо».
Вполне мог бы покинуть «Торпедо» и Воронин, благо предложений от разных клубов ему поступало предостаточно. Но он был патриотом своей команды и категорически отметал любые предложения о переходе в другую команду. Заводское начальство за это его отблагодарило — предоставило трехкомнатную квартиру недалеко от стадиона «Торпедо», на Автозаводской улице.
Однако исход игроков не мог не сказаться на игре торпедовцев. В результате в чемпионате 1963 года, в котором приняли участие 20 команд, «Торпедо» финишировало десятым, отстав от чемпиона (московского «Динамо») на 15 очков (40 против 55). Однако в список 33 лучших футболистов вошли сразу трое торпедовцев: Воронин, Иванов и Шустиков. Причем все — под номером 1.
Перед чемпионатом 1964 года «Торпедо» пополнилось большим количеством исполнителей, которые должны были заменить прежних лидеров. С новыми игроками и тренером (Виктором Марьенко) команда снова заиграла мощно и вплоть до последних матчей боролась с тбилисским «Динамо» за чемпионство. Причем «Торпедо» имело реальный шанс обогнать тбилисцев, но фортуна от них отвернулась. В матче против киевских динамовцев, когда на табло был счет 1:1, в ворота динамовцев был назначен пенальти. К мячу подошел лидер команды Валентин Иванов. Удар — вратарь Банников отбивает мяч. В итоге «Торпедо» и «Динамо» (Тбилиси) набрали по 46 очков и должны были проводить «золотой матч» за первое место, который был сыгран на нейтральном поле — в Ташкенте, на стадионе «Пахтакор». Основное время завершилось вничью 1:1, но в дополнительное время «Торпедо» пропустило три гола — 1:4.
Валерий Воронин тогда провел один из самых своих блестящих сезонов. По словам Э. Стрельцова:
«…Он был уже по-своему даже выше Кузьмы (так одноклубники звали Валентина Иванова, у которого было отчество Кузьмич. — Авт.). Я бы не сказал, что Иванов стал играть с годами хуже, он и закончил выступать, на мой взгляд, преждевременно, — и взрывная стартовая скорость и хитрость игровая оставалась при нем. С Кузьмой по-прежнему трудно было кого-либо сравнивать в тонкости понимания, в тонкости исполнения в решающий момент. Он всегда точно знал, отдашь ты ему мяч или нет.
Но Воронин играл, как бы это сказать, объемистее, пожалуй. Объем высококлассной работы, им производимой, просто удивлял. Диапазон действий был громадный. А головой он играл так, как ни мне, ни Кузьме не сыграть было…»
А вот еще одно мнение — уже знакомого нам журналиста А. Нилина: «Хорошо помню Воронина в игре. В трудную минуту как бы в мгновение ока переносился в горячую точку возле своих ворот и неуловимым движением уводил мяч из-под ног атакующих. Или вдруг врывался в штрафную площадку противника и, вытянув на себя дрогнувшую защиту, выдавал хитроумный, голевой пас своему форварду. Но более всего, как ни странно, он восхищал меня своей игрой в центре поля, когда, приняв мяч каким-то грациозным, кошачьим движением, Воронин поднимал голову, отрывая взгляд от укрощенного зверя, и, молниеносно оценив расположение перемещавшихся фигур на шахматной доске футбольного поля, так распоряжался мячом, что невольно вырывался вздох восхищения…»