В аппарате КГБ Андропов утвердил огромное количество генеральских должностей. Даже в военной контрразведке почти все должности начальников отделов преобразовали в генеральские, чего не было и во время войны. Андропов расширил сеть местных органов КГБ и образовал новые управления в центральном аппарате. Ввел контроль над духовным состоянием общества. Служба в посольстве в Венгрии дала ему бесценный опыт, он понял, насколько могут быть опасны и тяжелы идеологические нестыковки в обществе и насколько нереально возродить дух большевизма в советском блоке разных по сути государств.
В июне 1967 года приказом Андропова было образовано Пятое управление, начальником которого стал бывший секретарь Ставропольского крайкома КПСС. Но уже через год Андропов понял, что секретарь крайкома партии не годится для борьбы с инакомыслием в СССР, и его сменил кадровый чекист Филипп Денисович Бобков, через пятнадцать лет занявший пост заместителя председателя КГБ СССР. Последним начальником Пятого главного управления стал опытнейший чекист, профессионал МИДа СССР, генерал-лейтенант Харчев Константин Михайлович.
Работу по борьбе с инакомыслием Андропов считал приоритетной задачей КГБ и ставил выше, чем формирование собственного спецназа. Когда у Генштаба Министерства обороны, а следовательно — и у ГРУ, появился летом 1965 года свой крымский Учебно-террористический центр УЦ-165, где стали готовить для национальных армий слаборазвитых стран диверсантов-профессионалов, Андропов среагировал на это лишь год спустя, в 1966 году, ужесточением программы подготовки и обучения Курсов усовершенствования оперативного состава. Так, например, широко известен из мемуаров начальника разведки ГДР генерал-полковника Маркуса Вольфа случай, когда он прилетел на секретную встречу с Андроповым с просьбой обменять своего лучшего секретного агента, попавшего в пыточные подвалы западногерманской БНБ, на получившего в СССР большой срок физика Анатолия Щаранского, обвинявшегося в шпионаже в пользу Израиля. Андропов тогда жестко ответил генералу Вольфу: «Товарищ Вольф, разве вы не понимаете, что произойдет, если мы дадим такой сигнал? Этот человек — шпион, но еще важнее, что он — еврей и выступает в защиту евреев. Если мы освободим Щаранского, борца за права евреев, то и другие народности могут последовать его примеру. Кто будет следующим: немцы Поволжья, крымские татары, чеченцы или калмыки? Если мы откроем все клапаны и народ начнет вываливать все свои беды и претензии, нас захлестнет эта лавина, и мы не сможем ее сдержать».
И эти слова были сказаны при том, что корни родословной по матери самого Андропова крепко сидели в еврейском начале. Интересы Родины были для Андропова выше личных амбиций.
Чекисты рьяно взялись за инакомыслие.
Вспоминает бывший начальник отдела Пятого управления, работавший в нем с 1977 года, подполковник КГБ СССР Александр Николаевич Кичихин:
«В Пятом управлении было много отделов: был отдел, который занимался творческой интеллигенцией, отдел межнациональных отношений, в котором работал я, отдел студенческой и неорганизованной молодежи — всякие панки, хиппи и первые отечественные фашисты. Отдел религии — один из самых больших. Отдел по розыску анонимов и лиц, вынашивающих террористические планы.
Существовал отдел по борьбе с сионизмом, который начальник управления генерал Бобков курировал лично. Выделился в отдельную структуру отдел, занимавшийся наиболее заметными диссидентами — такими, как Солженицын, Сахаров. Был отдел, который вел борьбу с радиостанцией “Свобода”, с Народно-трудовым союзом. И небольшой отдел ведал контактами с коллегами из социалистических стран.
Когда я пришел в 1977 году в Пятое управление, там уже работало двести человек. Причем это было самое маленькое Управление в КГБ. Другие состояли из многих тысяч. Но накануне Олимпиады 1980 года наше Управление разрослось до шестисот человек. На время Олимпиады в отделе, занимавшемся спортсменами, стало пятьсот сотрудников. После Олимпиады многим офицерам вручили ордена и медали. Начальник столичного управления КГБ генерал Алидин получил орден Трудового Красного Знамени и значок лауреата Государственной премии СССР.
Обычно сынки “мохнатых пап” оседали в разведке, в первом главке, потому что это был верный способ продвижения за границу, а вся черновая работа была на нас. Мы верили, что наш анализ общественных процессов в стране поможет руководителям партии и государства принять правильные решения.