Поселился Ворошилов поначалу в угловой комнате второго этажа дома Т. П. Песошниковой на Никольской площади. В комнате жили трое: Ворошилов, Овсей Захарин и Иосиф Йзбицкий. Всего же в доме и флигеле проживало 14 ссыльных. К ним все время приходили другие «поднадзорные», и дом стал центром колонии. Такой «рассадник смуты» не мог остаться без внимания полиции.
С точки зрения полиции, Ворошилов очень беспокоен. Он организует протест холмогорской колонии против репрессий в тюрьмах и собирает деньги в пользу пострадавших, он помогает товарищам устраивать побеги, он устанавливает связь с подпольным Красным Крестом, получает деньги на содержание столовой и библиотеки для ссыльных, он ведет обширную переписку. При обыске 21 июня 1910 года полиция отбирает у Ворошилова более 40 писем, а 30 января 1911 года — 128 писем.
После обыска 21 июня против 13 ссыльных было возбуждено дело. В декабре 1910 года дознание закончено, и полиция боится, что Ворошилов скроется вторично. 28 января 1911 года холмогорский исправник получает две телеграммы: «Предупредите побег Ворошилова…», «Произведите обыск. Произведите аресты…»
15 февраля у Ворошилова вновь проводят обыск и вместе с группой других ссыльных сажают в арестантскую камеру при уездном полицейском управлении. Через два дня начальник архангельского губернского правления просит губернатора послать беспокойного ссыльного в более отдаленное место — в Кемь. На следующий день согласие на эту «меру предосторожности» получено. Ворошилова переводят в губернскую тюрьму, где он должен ждать отправки в Кемь.
Но отправка эта не состоялась, потому что Ворошилова привлекают к следствию по делу холмогорской группы политических ссыльных. Перед нами секретное дело канцелярии архангельского губернатора (по особо секретному столу) о поднадзорных: Клименте Ворошилове, Иосифе Избицком и Василии Липаеве:
«Высланный под гласный надзор полиции в Архангельскую губернию за революционную деятельность и подстрекательство рабочих к забастовке Ворошилов вошел в состав Холмогорской группы политических ссыльных, причем активная деятельность его в этом направлении выразилась в агитации среди ссыльных Архангельской губернии, направленной к возбуждению в них революционных стремлений…»
Срок надзора для Ворошилова кончался 28 июля 1911 года. Жандармов очень беспокоило, что он, «находясь по сему делу под стражей в Архангельской губернской тюрьме, старался восстановить заключенных против администрации, за что и подвергался неоднократным наказаниям».
Действительно, Ворошилов вел себя и в тюрьме независимо, а по временам с точки зрения тюремной администрации и дерзко. 19 мая в знак протеста против нарушения тюремщиками правил содержания заключенных он объявил голодовку и голодал до 24 мая. Одновременно Ворошилов призывал к выражению недовольства и товарищей по камере. «Ввиду такого неодобрительного поведения Ворошилова, — отвечал начальник тюрьмы на запрос губернского жандармского управления, — последнее время он был совершенно изолирован от других арестантов и помещен в отдельную камеру». С февраля по август 1911 года трижды попадал Ворошилов в изолятор и просидел там в общей сложности три недели.
Тем временем следствие продолжалось, и окончание его грозило Ворошилову суровым наказанием: ввиду «крайне вредной деятельности» архангельские жандармы предлагали выслать его еще на три года, но уже гораздо дальше — в Восточную Сибирь. К счастью, все обошлось «хорошо»: 20 июля 1911 года министр внутренних дел решил оставить Ворошилова под надзором в Архангельской губернии еще на год.
Вновь следует он по этапу в хорошо знакомую Мезень. Но теперь и уездный город не для него.
На берегу Мезенского залива, там, где в него впадает река Кулой, расположилось рыбацкое село Долгощелье. Ко многому привык Ворошилов за последние три года, но и его поражала природа своей дикостью. Темно-серые массы гранита, низины болот, серая, даже серовато-белая вода… Тяжело оказаться в таком месте. Мог ли знать Клим Ворошилов, что спустя 30 лет народная сказительница Марфа Семеновна Крюкова напоет об этом времени сказ: