Еще одна актуальная черта чекистского наследия Андропова — его установка на учет общественного мнения, на открытость в пределах возможного работы ведомства. «Нам не безразлично, являются ли наши действия по обеспечению безопасности государства понятными широким слоям трудящихся, вызывают ли они чувства симпатии», — наставлял он сотрудников, побуждая их к общению с населением, информированию общества через средства массовой информации. Чекисты стали часто выступать в рабочих, студенческих, творческих аудиториях, на различного рода собраниях общественности. В период Андропова было создано уникальное в мире спецслужб подразделение — пресс-бюро КГБ, была учреждена ведомственная премия в области литературы и искусства.
Андропов очень серьезно относился к заявлениям граждан. Ни одно из них не должно оставаться без ответа, требовал он. Наверное, люди почувствовали это, потому что тогда заметно выросло число просьб и жалоб, разрешения которых просители не находили в партийных и государственных учреждениях.
Принцип законности утверждался и в организации оперативно-розыскного процесса. Здесь принципиальной была установка председателя на перенос акцента с мер уголовно- процессуального пресечения на предупредительно-профилактические действия. Важно подчеркнуть, что Андропов не повторил ошибок своих предшественников и сумел избежать расширения репрессивных мер, даже несмотря на упреки в либерализме и постоянном давлении сверху о необходимости «закручивания гаек».
Умение чутко уловить тенденцию, требующую своевременного реагирования, отличало его самого, и этому он учил своих соратников. Порой это приводило иных даже в замешательство: он ставил задачу готовиться к явлению, которого еще нет. Но проходило время, и оказывалось, что председатель был прав. Так случилось, в частности, с настоящей бедой нашего времени — терроризмом. Анализируя причины нараставшей волны политического террора в странах Запада, а тогда вошли «в моду» похищения дипломатов, захват заложников, угон самолетов, Андропов пришел к выводу, что надо срочно принимать комплекс мер, учиться упреждать, парировать террористические угрозы. Эти меры включали в себя и организационно-штатные преобразования: создание профессионального (оперативно-боевого) спецподразделения по борьбе с терроризмом в системе КГБ, подразделения по борьбе с международным терроризмом в структуре контрразведки. По инициативе Андропова 29 июля 1974 года было принято решение о создании специального подразделения антитеррора, которое по его предложению было названо группой «А» и более известно ныне как «Альфа». Нельзя не признать, что Андропов сработал здесь на опережение.
Мало кто знает, что только за 4 года, то есть за 1975–1979 годы, в Советском Союзе было совершено 373 взрыва. Не все они носили политическую окраску, но так или иначе терроризировали население, порождали разного рода слухи. В январе 1977 года Москва была возбуждена тремя взрывами: в центре города, на улице 25 Октября и в метро. Тогда 7 москвичей погибли и 37 были ранены. В Комитете госбезопасности по факту взрыва было заведено дело оперативной разработки под названием «Взрывники». Все мероприятия по розыску преступников находились под постоянным контролем Андропова. Чекисты осуществили огромный комплекс организационных, оперативных, следственных и оперативно-технических мероприятий, которые помогли найти, задержать и разоблачить преступников. Уже в начале ноября 1977 года преступники были схвачены в Армении, а затем осуждены Верховным судом СССР и приговорены к высшей мере.
При Андропове в органах госбезопасности в качестве самостоятельного направления были выделены защита экономики СССР, содействие реализации планов социального развития страны. Прежде всего, это была работа по сохранности секретов, предупреждению чрезвычайных происшествий в народном хозяйстве. Органы госбезопасности включились в борьбу с хищениями, взяточничеством, выявляли, предупреждали и пресекали деятельность агентуры иностранных спецслужб. Известно, что в 60—70-е годы в условиях жесткой «холодной войны» зарубежные спецслужбы вели активную работу против СССР. Особый интерес они проявляли к дипломатам, сотрудникам Главного разведывательного управления Генштаба, а также к партийным и советским работникам, научным специалистам различных центров и предприятий военно-промышленного комплекса. Учитывая это, КГБ совместно с заинтересованными министерствами и ведомствами старался закрыть возможные каналы утечки информации. Принятая система мер позволила советской контрразведке выявить и разоблачить ряд агентов спецслужб США, ФРГ, Франции, Японии, КНР, действовавших в СССР, в том числе таких, которые имели доступ к особо важным секретам, прошли спецподготовку и были снабжены самым современным шпионским снаряжением, включая сложные средства тайнописи, оружие и сильнодействующие яды. Особенно ощутимый удар в 70-е годы был нанесен контрразведкой ЦРУ США. Были арестованы американские агенты: Огородник — работник Министерства иностранных дел СССР, Филатов — сотрудник ГРУ Генштаба Советской армии, Нилов — инженер кафедры физики одного из высших учебных заведений Москвы, Калинин — техник одного из ленинградских научно-производственных объединений и другие.