Следующим командиром «Харькова» был капитан 3-го ранга Пантелеймон Александрович Мельников, которого с ноября 1942 года сменил капитан 3-го ранга Петр Ильич Шевченко. Первым военным комиссаром лидера был Г.И. Фомин, затем батальонный комиссар Е.Ф. Алексеенко. С сентября 1943 года заместителем командира по политчасти «Харькова» являлся капитан 3-го ранга Иван Архипович Крикун.
С первых дней войны «Харьков» самым активным образом участвовал в боевых действиях. Так, уже 23–25 июня 1941 года лидер принял участие в постановке оборонительных заграждений у Севастополя.
26 июня совместно с лидером «Москва» нанес артиллерийский удар по главной базе фашистского флота на Черном море — румынскому порту Констанца. Это была первая набеговая операция Черноморского флота. В 20 часов 15 минут 25 июня ударная группа кораблей ЧФ («Харьков» и «Москва») вышла из Севастополя. Отряд поддержки (крейсер «Ворошилов», эсминцы «Сообразительный» и «Смышленый») вышел в 20 часов 40 минут. Общее руководство операцией осуществлял командир отряда легких сил контр-адмирал Т.А. Новиков. Ударной группой командовал командир 3-го дивизиона эсминцев капитан 2-го ранга М.Ф. Романов (флаг на лидере «Харьков»). Переход в район боевых действий был осуществлен без помех.
26 июня в 4 часа 42 минуты ударная группа с поставленными параванами подошла к кромке минного заграждения и уменьшила скорость до 20 узлов. Через несколько минут в правом параване шедшего головным флагманского лидера «Харьков» взорвалась мина. «Харьков» дал малый ход, и в голову вышел лидер «Москва». В 5 часов 02 минуты лидеры вышли в точку начала стрельбы и открыли огонь из орудий главного калибра. Уже после первых залпов на берегу взметнулось пламя большого пожара в районе нефтяных баков. Через несколько минут после начала стрельбы по лидерам открыла огонь крупнокалиберная береговая батарея, о которой на кораблях сведений не имели, а чуть позже — два вражеских эсминца, которые находились на рейде и не были вовремя обнаружены. В 5 часов 06 минут лидеры были накрыты артиллерийским залпом. Несмотря на близкие разрывы снарядов, лидеры продолжали выполнять задачу. Только выпустив предусмотренное количество снарядов, в 5 часов 12 минут командир ударной группы дал приказание прекратить огонь и начать отход. «Харьков» начал отходить с постановкой дымовой завесы. Для снижения эффективности стрельбы врага лидеры увеличили ход до 30 узлов и перешли на движение противоартиллерийским зигзагом. По всей вероятности, маневрируя на такой скорости, лидер «Москва» потерял оба паравана. В 5 часов 20 минут он подорвался на мине, разломился в районе первого котельного отделения и стал быстро тонуть. Появившиеся в это время над кораблями вражеские самолеты расстреливали из пулеметов плавающих на воде людей. Попытка «Харькова» оказать помощь погибающему кораблю не увенчалась успехом — он был сам накрыт огнем батареи и атакован самолетами врага. От близких разрывов бомб и снарядов корабль получил сильные сотрясения корпуса. Потекли водогрейные трубки в котлах, стало падать давление пара, ход снизился до 6 узлов. Корабль оказался перед угрозой стать неподвижной мишенью для врага. Нужно было, не охлаждая котлов, влезть в топку и ликвидировать повреждения. Котельный машинист Петр Гребенников не колебался ни минуты. Товарищи принесли ему асбестовый костюм, густо смазали лицо вазелином. Но все это мало помогало в дышащей жаром топке. Сухой, горячий воздух обжигал легкие. Однако Гребенников упорно искал повреждения, пока его не вытащили из топки почти без сознания. Облившись водой, он вновь полез в котел. Лишь с третьей попытки Гребенникову удалось заглушить лопнувшие трубки. Следуя примеру своего товарища, краснофлотец Петр Каиров устранил повреждения в другом котле. Корабль получил возможность увеличить ход до 12 узлов.
В это время лидер атаковала вражеская авиация, но все ее атаки были отбиты, при этом зенитчики сбили два самолета. Для оказания помощи «Харькову» командир группы поддержки направил эсминец «Сообразительный». В 5 часов 55 минут корабли вышли из зоны обстрела. В 6 часов 53 минуты эсминец, а затем лидер (по их докладу) подверглись атаке подводной лодки. От выпущенной торпеды корабли уклонились, после чего эсминец атаковал ее глубинными бомбами. В течение последующих 6 часов корабли, меняя курсы и скорость, ведя зенитный огонь, вышли из-под атак самолетов. В 13 часов 26 минут на «Харьков» и сопровождающие его корабли была предпринята последняя атака самолетов врага, которую корабли отбили. В 21 час 09 минут корабли прибыли в Севастополь.