Несмотря на столь трагическое начало, поступление Як-28П в строевые части проходило довольно быстрыми темпами. В 356-м полку к концу зимы 1964 г. практически полностью укомплектовали одну эскадрилью, две других продолжали летать на Су-9. Чтобы развеять недоверие строевых пилотов к новому самолету, в мае в полк прибыли летчики-испытатели, которые продемонстрировали возможности машины. Во время своеобразного шоу на Яке был показан весь комплекс высшего пилотажа, включая энергичные горки, мертвые петли и бочки. (Следует отметить, что в полках в течение всего срока эксплуатации Як-28 выполнение сложного пилотажа было запрещено.) В том же году новые перехватчики стали поступать в 174-й ГвЙАП 10-й армии ПВО, который базировался в Мончегорске недалеко от Архангельска. Зта часть, ранее эксплуатировавшая Як-25 и МиГ-19, полностью перешла на Як-28П. По мере выпуска самолетов Новосибирским заводом их получили: в 10-й армии - 641-й ГвИАП из Рогачево на Новой Земле, полк в Летнеозерске и отдельная смешанная эскадрилья в Безречной, располагавшая, кроме Яков, МиГ-17; в ленинградской армии ПВО - полки в Дауавпилсе и Пярну; в 8-й армии -738-й ИАП кз Запорожья; в 4-й армии -полки в Нивеском на Северном Урале и Комсомольском; в Бакинском округе ПВО - 50-й ИАП в Насосной под Баку, 171-й ИАП в Гудауте и полк в станице Крымской (ныне г. Крымск); в 11-й армии - на аэродромах Смирных (Сахалин) и Елизово (Камчатка).
Як-28П ранних серий. Видна подвешенная ракета К-8Р
Як-28П одной из поздних серий. Ракеты Р-ЗС не подвешены
Летная и боевая подготовка велась весьма активно - экипажи налетывали в среднем по 100 ч за год. В течение первых лет эксплуатации Як-28П около трети полетов выполнялось с выходом на сверхзвук. По мере выработки ресурса на таких режимах летали все меньше, а к 80-м гг. переход на "двадцать восьмом" за М›1 и вовсе стал редкостью. Кроме отработки техники пилотирования, много внимания уделялось перехватам различного рода целей, в том числе и низковысотных. Последняя задача считалась приоритетной. Станция "Орел-Д" не позволяла видеть цель на фоне земли, и перехватчику, чтобы обнаружить ее, приходилось часто опускаться ниже 100 м. Поэтому двухместный Як-28П обладал неоспоримым преимуществом перед оснащенным той же РЛС Су-15, летчик которого практически не мог на малой высоте одновременно пилотировать и работать со станцией. До конца 60-х гг. реальные пуски ракет проводились в основном в красновод-ском центре боевого применения авиации ПВО на полигоне Кара-Богаз-Гол. Туда раз в год поочередно перелетали эскадрильи практически всех частей, вооруженных Яками, и в течение восьми-десяти дней проводили стрельбы. В качестве мишеней использовались беспилотные Ил-28, Ла-17, МиГ-17, а также парашютные мишени. В 70-е гг. почти во всех армиях ПВО появились свои полигоны, и всесоюзные слеты Як-28П в Красноводске прекратились. На протяжении всего периода эксплуатации перехватчиков имели место тяжелые летные происшествия. Так, в 174-м ГвИАП в авариях и катастрофах потеряли около десятка Яков. Впрочем, по имеющимся данным, это рекорд, но 2-3 машин лишился практически каждый полк.
Существенных отличий в пилотажных качествах Як-28П от других самолетов этого семейства не имел. Летчики, которые ранее служили на Як-25, были вполне удовлетворены маневренными возможностями нового перехватчика, а большинство тех, кто переучился с "настоящих истребителей", придерживалось противоположной точки зрения. Недостатки у Як-28П тоже были фамильные, причем некоторые специально разработанные для него системы как бы унаследовали болячки от собратьев из фронтовой авиации. Так, перехватчики оснащались специальными автопилотами, но эти устройства настолько плохо себя зарекомендовали, что во многих полках ими предпочитали не пользоваться. Не отличалась особой надежностью и РЛС, но в целом станция позволяла решать стоявшие задачи. С ее помощью можно было обнаруживать цели, следующие с превышением до 8 км, а комплекс вооружения позволял атаковать их как из передней, так и из задней полусфер.
Задачи полков на Як-28П были традиционными для ПВО - защита границы, прикрытие политических, промышленных и военных объектов, а для приморских частей еще и сил флотов. В частях на боевом дежурстве постоянно находились по две машины, а в некоторых, прикрывавших наиболее сложные участки, и по четыре. Как уже неоднократно отмечалось в публикациях "АиВ", немало беспокойства советской ПВО доставляли автоматические дрейфующие аэростаты (АДА). Иметь с ними дело приходилось практически всем частям, в том числе и вооруженным Як-28П. Так, в середине 70-х гг. только в 174-м ГвИАП уничтожили не менее трех шаров. В те годы и полеты иностранных самолетов-разведчиков вдоль рубежей СССР были явлением весьма распространенным. Экипажи Як-28П, особенно из "северных" полков, часто поднимались на их перехват, но случаи применения оружия в таких ситуациях не известны. Советским летчикам приходилось встречаться в воздухе с SR-71, "Орионами", RB-57 и другими. Боеготовность 174-го ГвИАП, кроме НАТОвских, проверяли летчики страны Суоми на Ил-28Р, которые умело использовали большую продолжительность полета ильюшинских разведчиков. Временами финны действовали очень назойливо. Их самолет приближался к границе, где его достаточно дружелюбно встречал дежурный перехватчик. Машины какое-то время шли вдоль границы, затем финны отворачивали в глубь своей территории и удалялись со снижением. Барражировать в районе советский экипаж не мог из-за небольшого остатка топлива, а когда Як уходил на свой аэродром, Ил-28 возвращался. На перехват поднимали другой самолет, и все повторялось. Иногда по одному Илу приходилось поочередно работать трем экипажам Як-28П.
Единственный известный случай боевого применения Як-28П по самолету произошел 13 марта 1967 г. В тот день пилот Аэрофлота, в прошлом военный летчик, которого за какие-то прегрешения уволили из армии, угнал из Туапсе Ан-2 и направился на нем в Турцию. Очевидно, учитывая военное прошлое беглеца, а также то, что на борту самолета никого, кроме него, не было, командование авиации ПВО пошло на крайние меры, дабы не позволить отступнику уйти за кордон. На его перехват был поднят Як-28П из 171-го ИАП, управляемый экипажем к-на Парфилова. На ретрансляцию связи вылетел на МиГ-17 зам. командира полка п/п-к В.Н.Прищепа. Экипаж Парфилова достаточно быстро вышел на цель, но атаковать ее оказалось делом непростым. Як нес две К-8. Ракету с РГСН применить не удавалось, т.к. Ан-2 шел в 10-15 м от поверхности моря, радиосигналы отражались от воды, и все время происходил срыв захвата, а ракета с ТГСН вообще цель "не видела" из-за ее низкой инфракрасной заметности. Наконец-то Парфилов доложил: "Есть захват!" - и пустил К-8Р, но все из-за того же отражения сигналов от воды она взорвалась далеко позади Ан-2, который был уже в нейтральных водах. "Мне здесь больше делать нечего", - передал капитан открытым текстом в эфир. Тогда поступил приказ: Як-28 занять место ретранслятора, а Прищепе уничтожить цель, используя артиллерию МиГа. Приказ был выполнен.
В сентябре 1968 г., после ввода войск стран Варшавского договора в Чехословакию, в эту страну перебросили 738-й ИАП, вооруженный Як-28П поздних серий, которые несли по две ракеты К-98 и по две Р-ЗС. Командовал частью п-к В.И.Скоморохов. Перелет на аэродром в Остраве, где находился полк советских Су-7Б, осуществлялся с промежуточной посадкой в Стрые. Инженерно-технический состав и техимуще-ство были доставлены наземным транспортом. Боевые вылеты экипажам Як-28П выполнять не пришлось. Учебные полеты проводились достаточно интенсивно, в том числе отрабатывались перехваты самолетов противника, в роли которых выступали машины ВВС СССР. Перехватчики оставались в ЧССР около месяца, после чего осуществили прямой перелет на свою авиабазу в Запорожье.