Революционную напористость Ворошилова отметили и в городской полиции, за ним установили круглосуточный надзор. Поняв, что ареста не избежать, Клим осенью 1908 года уехал в Петербург. Столичная охранка ждала «бакинского гостя». Хотя он прибыл в Петербург под именем Филиппа Максимовича Кочаловского, его всё же вычислили и арестовали. С 20 по 30 сентября он пробыл в каталажке одного из жандармских отделений, затем был переведён в Петербургскую пересыльную тюрьму. Состоялся скорый суд, который постановил: вернуть сбежавшего из Пи́неги Ворошилова в архангельскую ссылку. 8 октября он отправился обратно на север, только теперь в город Мезень.
Мезень, как и Пи́нега, отстоял далеко на северо-восток от Архангельска, на 200 с лишним километров, но ближе к Белому морю — в 45 километрах от него.
Департамент полиции определил пребывание Ворошилова в Мезене сроком три года. Клим здесь быстро освоился и начал вести запрещённую политическую деятельность. Архангельские власти терпели эту его супротивную деятельность в Мезене до октября 1909 года, после 13 октября ему сменили место отбывания ссылки, отправив в село Холмогоры, расположенное в низовье Северной Двины.
Как и Пи́нега, Холмогоры издавна известны тем, что являлись суровым местом изолирования опасных государственных персон на Руси. Одна из ярких исторических страниц Холмогор связана с заточением «Брауншвейгского семейства». В 1744 году сюда выслали семью свергнутого российского императора Иоанна VI ( Иоанна Антоновича). В Холмогоры были доставлены его отец Антон Ульрих Брауншвейгский, мать Анна Леопольдовна, их дочери Екатерина и Елизавета. Здесь потом родились двое других детей — Пётр и Алексей. Антон Ульрих скончался в 1774 году. Умер в холмогорской ссылке и Иоанн VI, его останки покоятся в затерянном склепе снесённой Успенской церкви. В 1780 году оставшиеся в живых члены Брауншвейгского семейства покинули Холмогоры, с позволения императрицы Екатерины II, выехав в Данию.
Ещё Холмогоры знамениты своей причастностью к великому деятелю эпохи Просвещения, русскому учёному Михаилу Ломоносову. Он родился и жил в трёх верстах от Холмогор на Курострове, омываемом водами Северной Двины. Там было две деревни — Денисовка и Мишанинская, позднее они объединились в село Денисовку[53].
В Холмогорах Ворошилов продолжил подрывную работу против царского режима. Он нашёл общий язык с местной группой политических ссыльных партии социалистов-революционеров: как с большевиками, так и с меньшевиками.
В феврале 1911-го Клима арестовали и отправили в Архангельскую губернскую тюрьму. В тюрьме он сильно заболел, около полугода провалялся в зэковской больничке[54].
Основанием для обвинения Ворошилова и привлечённых к суду вместе с ним социал-демократов Литаева и Избицкого послужила посылка ими в легальную прессу протеста от имени ссыльных против нечеловеческого обращения с политическими заключёнными в тюрьме Нерчинской каторги Забайкалья.
Дело в том, что в конце 1910 — начале 1911 года по стране прокатились волнения, особенно в студенческой среде и в кругах профессиональных революционеров в связи со ставшими известными широкой общественности вопиющими беззакониями, творившимися в тюрьмах Забайкалья. Конкретно речь шла о центральной каторжной тюрьме в Горном Зерентуе. Она была рассчитана на 300 человек, но после подавления революции 1905— 1907 годов в неё поместили свыше восьмисот заключённых. Содержание в камерах стало невыносимым, ужесточились строгости, был создан садистский режим. Зверские избиения политических узников происходили ежедневно. В декабре 1910 года шестеро политзаключённых в знак протеста против издевательств тюремщиков совершили попытку самоубийства. Один из них, эсер-террорист Егор Сазонов, умер. Социал-демократы от трудовой фракции 3-й Государственной думы предложили расследовать сложившееся положение в Зерентуйской тюрьме, но черносотенное большинство Думы отклонило это предложение.
Ворошилова освободили из Архангельской тюрьмы в августе 1911 года. Постановлением Особого совещания при министре внутренних дел он получил дополнительно ещё один год ссылки.
Из Холмогор его снова отправили в Мезенский уезд и водворили в глухой беломорский посёлок Долгощелье, в народе Долгая Щель, расположенный у полярного круга.