На посту начальника ГРУ И.А. Серов не пользовался большим авторитетом и влиянием. Военные разведчики были невысокого мнения о его профессиональной подготовке, считая главным его достижением умение арестовывать, допрашивать и расстреливать. По мнению генерал-полковника А. Павлова, «генерал Серов… показал себя слабо знающим работу военной разведки и субъективно подходившим к решению оргштатных и кадровых вопросов. У меня лично складывалось впечатление, что Серов был более занят вопросами своих личных взаимоотношений с высшим руководством страны, чем проблемами повседневной работы военной разведки».
Объективности ради все же следует отметить, что именно в бытность Ивана Александровича Серова на должности начальника ГРУ был сделан весомый вклад в обеспечение безопасности стран — участниц Варшавского Договора. Все усилия были направлены на улучшение всестороннего сотрудничества и координации действий в области обороны, принятие согласованных мер. необходимых для того, чтобы оградить мирный труд народов, гарантировать неприкосновенность их границ и территорий и обеспечить защиту от возможной агрессии.
Для реализации этих задач в структуре Варшавского Договора были созданы соответствующие политические и военные органы, включая разведывательные. Тесное и плодотворное сотрудничество осуществлялось между разведывательными службами ГДР, Польши, Чехословакии, Венгрии, Болгарии и СССР. Основные усилия разведки стран Варшавского Договора были направлены на изучение оперативного оборудования театров военных действий, численности, боевого состава, вооружения и боевой техники вероятного противника, а также его возможные планы ведения боевых действий и др.
Вспоминает генерал-лейтенант Г. Долин: «В 1958 году начальником ГУ был назначен снятый с должности председателя КГБ генерал армии И.А. Серов. Личность одиозная, широко известная не только в Вооруженных Силах, но и во всей стране. Для Министерства обороны и ГРУ это был “не подарок”. При этом все понимали, что Серов пришел в ГРУ не работать, а дослуживать.
Взаимопонимания и слаженной работы со своими заместителями у него не было с самого начала, а вскоре с некоторыми из них возникло прямое противостояние. Что касается Министерства обороны и Генерального штаба, то его там просто терпели, предпочитали “не связываться”. И ждали его ухода.
Конечно, так продолжаться долго не могло. Разрядку ускорило “дело Пеньковского”. В 1963 году И.А. Серов был снят с должности… Вскоре он был уволен из Вооруженных Сил. Серов возглавлял ГУ около пяти лет, кроме вреда делам и престижу военной разведки его пребывание на этом посту не принесло ничего».
Еще в январе 1963 года Серов почувствовал нависшую над ним опасность и попытался объясниться в заявлении в президиум ЦК КПСС. Однако расследование КГБ дела Пеньковского показало, что обширная информация, переданная англичанам, была получена в результате знакомства и частых посещений Пеньковским домов И. Серова и главного маршала артиллерии С. Варенцова.
По некоторым свидетельствам, Хрущев не хотел строго наказывать преданных ему Серова и Варенцова. С должности начальника ГРУ И.А. Серов был снят 2 февраля 1963 года, 7 марта разжалован до генерал-майора и 12 марта лишен звания Героя Советского Союза «за притупление политической бдительности» в связи с арестом Пеньковского.
После снятия с должности начальника ГРУ И.А. Серов был назначен помощником командующего Туркестанским военным округом по учебным заведениям, с августа 1963 года занимал такую же должность в Приволжском ВО.
В апреле 1965 года он был исключен из КПСС «за нарушения социалистической законности и использование служебного положения в личных целях», а приказом МО СССР от 1 сентября 1965 года — уволен из Вооруженных Сил по болезни.
Снятие Хрущева в октябре 1964 года с поста Первого секретаря ЦК обрадовало Ивана Александровича, он попытался выйги из опалы и вернуться из Куйбышева в Москву, написав за полгода восемь заявлений в ЦК Брежневу, но ответа не последовало. Тем не менее Серову удалось возвратиться в Москву, уже как военному пенсионеру.
В своих заявлениях он просил восстановить его в звании генерала армии и вернуть звание Героя Советского Союза, полученное в мае 1945 года. Результат был обратным: 9 апреля 1965 года Комиссия партийного контроля при ЦК КПСС рассмотрела персональное дело И.А. Серова и исключила его из партии «за нарушение социалистической законности и использование служебного положения в личных целях».
С приходом к власти Ю.В. Андропова в 1982 году, М.С. Горбачева в 1985-м, И.А. Серов обращался с заявлениями в политбюро ЦК КПСС с просьбами снять с него взыскания, но не одна из них не была удовлетворена.