Обстановка под Ленинградом меж тем с каждым часом обострялась. 8 сентября гитлеровцам удалось прорваться к Ладожскому озеру и захватить Шлиссельбург. Связь с Большой землей по суше прервалась, город был блокирован. Положение стало крайне опасным.
9 сентября Сталин вызвал генерала армии Жукова. Еще до прибытия Георгия Константиновича на проходившем в кабинете вождя совещании было высказано глубокое сомнение, что положение под Ленинградом удастся выправить, и уж, во всяком случае, не Ворошилову. Выслушав доклад генерала и, очевидно, поверив, что еще не все потеряно, Верховный приказал Жукову лететь в Ленинград и принять под свое командование фронт.
10 сентября Жуков прибыл в штаб фронта в Смольный. Здесь шло заседание военного совета фронта. «Рассматривался вопрос о мерах, которые следовало провести в случае невозможности удержать город, — вспоминал маршал. — …Эти меры предусматривали уничтожение важнейших военных и индустриальных объектов и т. д. Сейчас, более тридцати лет спустя, эти планы кажутся невероятными. А тогда? Тогда положение было критическим».
Жукову не понравились ноты обреченности в словах членов военного совета. Не все возможности обороны были исчерпаны, а руководители фронта и города уже настраивались все взрывать, разрушать, в конце концов погибать. Очень уж это по настроению напоминало атаку во главе с первым советским маршалом под Красным Селом.
Георгий Константинович вручил Ворошилову записку, исполненную рукой Сталина: «Передайте командование фронтом Жукову, а сами немедленно вылетайте в Москву». Маршал воспринял новость с нелегким сердцем. «Отзывает меня Верховный… — сообщил он членам военного совета. Помолчав, добавил: — Так мне, старому, и надо…».
Некогда с помощью НКВД Ворошилов продлил свое пребывание на военном Олимпе, устранив более молодых и более талантливых. Но и репрессии были не в состоянии отменить приговора времени: теперь оно окончательно уценило Климента Ефремовича как военачальника. Его крайне неудачные действия в феврале-марте 1942 г. в качестве представителя Ставки на Волховском фронте окончательно убедили в этом всех и каждого. В последующем, если его изредка использовали в качестве представителя Ставки, то только вместе с другими, более даровитыми военачальниками: Жуковым (в декабре 1942 — январе 1943 г. при прорыве блокады Ленинграда), Штеменко (в декабре 1943 — январе 1944 г. при разработке плана операции по освобождению Крыма), Василевским (в апреле 1944 г. при координации действий сухопутных войск и сил флота при освобождении Крыма).
В последнем составе Ставки ВГК, утвержденном ГКО 17 февраля 1945 г., места Ворошилову не нашлось. Что, правда, не помешало ему, как уже говорилось выше, получить за победу немалые и не заслуженные почести.
После мая 1945 г. к военным делам маршал по существу отношения не имел. Партия бросила его на новый участок — курировать сферу культуры. Благообразный, моложавый, с седыми усами и серебряными висками, он умел произвести благоприятное впечатление. «Милый Ворошилов, — вспоминал писатель Корней Чуковский после их встречи в Кремле, — я представлял его себе совсем не таким. Оказалось, что он светский человек, очень находчивый, остроумный и по-своему блестящий».
В ведении Бюро культуры при Совете Министров СССР, которое возглавил бывший нарком обороны, находились театры, кинематограф, книгоиздательства. Учитывая, что литературой в стране занимался лично Сталин, а в целом культурой ведал агитпроп во главе с секретарем ЦК Ждановым, на долю Ворошилова оставалось совсем немного. И чем-то очень значительным в этой области он не отметился.
Со временем стали ухудшаться его ранее почти безоблачные отношения с вождем. Впрочем, к концу жизни Сталин перестал благоволить не только к Ворошилову, но и к другим давним соратникам — Молотову и Микояну. Но от этого Клименту Ефремовичу было не легче.
Открытое пренебрежение, которое демонстрировал стареющий диктатор, приобретало подчас зловещие формы. Заместитель главкома Военно-Морского Флота адмирал И. С. Исаков привел в своих воспоминаниях характерный эпизод. На одном из заседаний политбюро, обсуждавшем пути развития Военно-Морского Флота, Ворошилову случилось высказаться невпопад. Сталин отреагировал так, что у адресата его слов предательски побежал по спине озноб: «Не понимаю, для чего хочется товарищу Ворошилову ослабить Советский Военно-Морской Флот». Эта реплика, к тому же повторенная дважды, естественно не ускользнула от внимания присутствующих. Когда после заседания все по приглашению Сталина пошли смотреть кинофильм, рядом со старым маршалом образовался вакуум.