После войны он продолжал службу в Генеральном штабе: начальник Главного оперативного управления — заместитель начальника Генерального Штаба ВС СССР (апрель 1946 — ноябрь 1948), начальник Генерального Штаба — заместитель министра Вооруженных Сил СССР (ноябрь 1948 — июнь 1952). Писатель К. Симонов в своей книге «Глазами человека моего поколения», ссылаясь на Маршала Советского Союза А. Василевского, писал: «В одном из дальнейших разговоров Александр Михайлович коротко охарактеризовал Штеменко. Сказал, что это человек в военном отношении образованный, очень работоспособный, и не только работоспособный, но и способный, энергичный, с волевыми качествами… Назначение Штеменко начальником Генерального штаба, очевидно, было подготовлено Берией, который, с одной стороны, оценил его как сильного работника, когда был с ним вместе на Кавказе, а с другой стороны, имел на него, очевидно, свои виды».
Симонов высказывает по этому поводу собственное предположение: «Думается мне, что именно то, что Берия имел на Штеменко свои виды, и послужило причиной его снятия Сталиным». Сергея Матвеевича отправили в ГДР на должность начальника штаба — первого заместителя главкома Группой советских войск в Германии, где он прослужил с июня 1952 по март 1953 года.
После смерти Сталина его вернули в Генеральный штаб и назначили первым заместителем начальника. 26 июня 1953 года был арестован Берия, а 29 июня Сергея Матвеевича отстранили от должности, снизили в звании с генерала армии до генерал-лейтенанта «с использованием его, — как говорилось в приказе министра обороны СССР, — на меньшей практической работе в одном из военных округов». Кроме того, Штеменко обвинили в связях с «группой заговорщиков». Однако в «преступную группу Берии» он не попал и привлекался к процессу по его делу лишь в качестве свидетеля. 21 июля 1953 года Штеменко послал 1-му секретарю ЦК КПСС Н. Хрущеву письмо, в котором писал: «Я никогда не был лжецом. Вот и теперь, в трудный период моей жизни, когда я отстранен от работы и снижен в звании, меня нисколько не беспокоит моя так называемая служебная карьера. Я буду работать в том месте и на той должности, куда меня пошлют… Скоро месяц, как я существую как отщепенец, без пользы дела, и не знаю, как со мной поступят дальше…» В ноябре того же года Сергея Матвеевича назначили начальником штаба Сибирского военного округа. С 1952 по 1956 год он был кандидатом в члены ЦК КПСС.
С 31 августа 1956 по 28 октября 1957 года он возглавлял Главное разведывательное управление Генерального Штаба ВС СССР. В то время министром обороны был Маршал Советского Союза Г. Жуков.
Документальная история снятия Штеменко с поста начальника ГРУ теперь известна. Вот что рассказал со слов заместителя начальника ГРУ Х.-У. Мамсурова М. Мильштейн: «Незадолго до поездки в Югославию Г.К. Жуков вызвал его к себе и поделился с ним своим решением о формировании бригад специального назначения, исходя из возможного характера будущих военных действий в том регионе. Эти бригады должны были быть сравнительно небольшими (до двух тысяч человек), вооруженными самым совершенным и мощным легким оружием. Предполагалось собрать в единый кулак отборный, физически сильный личный состав, обученный приемам ведения ближнего боя, карате, десантированию с воздуха и пользованию современными взрывчатыми веществами. Формирование этих бригад Георгий Константинович возложил на Мамсурова. У Хаджи-Умара Джиоровича Мамсурова был друг, которого он знал много лет, — генерал Туманян. В то время он занимал должность заместителя начальника бронетанковой академии по политической части. Туманян приходился родственником А.И. Микояну. Будучи женатыми на сестрах, они часто встречались и относились друг к другу по-дружески. Мамсуров рассказал о встрече с Жуковым и его указаниях Туманяну, тот, в свою очередь, решил доложить об услышанном Анастасу Ивановичу. Микоян, в то время первый заместитель председателя Совета Министров СССР, воспринял рассказ Туманяна очень серьезно. Первый вопрос, который он ему задал, звучал примерно так: “А могут ли эти бригады быть выброшены с воздуха на Кремль?” Туманян ответил утвердительно. Услышав это, Анастас Иванович поспешил на доклад к Никите Сергеевичу Хрущеву. В воспаленном воображении Микояна, воспитанного на теориях “заговоров”, по-видимому, сразу родилась мысль о намерении Жукова подготовить военный переворот с помощью бригад специального назначения».