Павел Исаакович оказался здесь в октябре 1826 года. Средства на содержание ссыльного не были определены, и, не имея собственных доходов, Ганнибал бедствовал. Он не был причастен к политической борьбе и, не чувствуя за собой вины, жестоко страдал и потому был «всегда почти мрачен…». В жестокое противоречие вступили его природная гордость и дворянское достоинство офицера высокого звания с подозрительным и бестактным поведением городничего Соколова, который ежедневно посещал Ганнибала и часто «в нетрезвом виде». Из донесения Соколова генерал-губернатору Миницкому: Ганнибал «в обращении иногда бывает хорош и весел, но часто выражения употребляет гордые и резкие». В результате личной неприязни к ссыльному в донесениях городничего постоянно упоминается «азартный» и «отчаянный» нрав Ганнибала. Отношения обострились до предела. Служебные обязательные сообщения о поведении поднадзорного превратились в грязные доносы. Справедливость их Миницкий проверить не удосужился, а обратился к министру внутренних дел с предложением: «…не благоугодно ли будет освободить город Сольвычегодск от столь опасного для жителей… человека, назначив ему, Ганнибалу, местопребыванием Соловецкий монастырь, где он, находясь под арестом, не будет иметь возможности ни себе, ни кому другому причинить вреда». Предложение было принято, и в марте 1827 года поступило «высочайшее соизволение на отправление подполковника Ганнибала под присмотр в Соловецкий монастырь». И снова без указания срока: несколько неосторожно сказанных слов, за которыми нет ни малейшего злого умысла, ломают судьбу человека.
Сообщение о переводе на Соловки Павел Исаакович встретил спокойно. Вероятно, еще не зная условий Соловков, принял это за облегчение, за возможность покинуть угнетавший его Сольвычегодск.
26 апреля 1827 года в сопровождении жандармского офицера Ганнибал выехал из Сольвычегодска. Своего дворового человека Никиту Дементьева, который до этого времени был при нем, он отправил в Псковскую деревню. Ехали, минуя Архангельск. На пригородной пристани взошли на монастырское судно и прибыли на Соловки 9 мая.
И потянулись дни истинной трагедии Ганнибала, длившейся пять с половиной лет. Первые две недели, оказавшись в тюремной камере, он неистово бился, требуя свободы. Но силы пятидесятилетнего узника иссякли: наступило вынужденное смирение.
Отечественная история с гордостью называет имена многих женщин — родственниц осужденных, самоотверженно боровшихся за облегчение участи своих сыновей, мужей, братьев. И среди них нужно обязательно назвать и записать имя Варвары Тихоновны Ганнибал, урожденной Лансе — супруги Павла Исааковича. Они уже давно были в разводе и жили врозь. Но, узнав о беде, в которой оказался ее супруг, она оставила обиды и решительно принялась хлопотать об облегчении его участи. Узнав (не сразу и, вероятно, от приехавшего из Сольвычегодска слуги Ганнибала), где находится ее бывший супруг, она обратилась в начале 1829 года к Бенкендорфу с письмом, в котором просила избавить мужа от тюрьмы и с пользой для отечества отправить его в действующую армию на Кавказ. Бенкендорф отказал.
Но «Варваре Ганнибаловой» (так она себя именовала в прошениях) была разрешена переписка с мужем, и к тому же ей разрешили послать ему деньги и вещи. Это было исключительным явлением в истории Соловецкой тюрьмы, ибо она числилась в разряде секретных.
В октябре этого же, 1829 года, по многократным просьбам Варвары Тихоновны, Миницкий сам обратился к Бенкендорфу с предложением облегчить участь Ганнибала. В своем предложении он сослался на положительный отзыв об узнике настоятеля монастыря Досифея. Но Бенкендорф снова, не извещая царя, по своей воле отказал просителям.
В 1830 году за служебные злоупотребления Миницкий был смещен, и генерал-губернатором огромного северного края был назначен адмирал Роман Романович Галл, который оставил по себе добрую память на Беломорье. Свои душевные качества адмирал показал в первые же дни назначения. Еще в Петербурге он принял Варвару Тихоновну, выслушал ее, принял от нее посылку мужу.
По приезде в Архангельск он отправил посылку на Соловки Ганнибалу и запросил у архимандрита Досифея его суждения об этом узнике. Суждения были добрые, но обращает внимание приписка Досифея: «Хотя Ганнибал рекомендацию оную и заслужил постоянным своим поведением, но живущие у нас делаются хорошими и поневоле за неимением средств к поведению противнику сему, а как будет жить в мирском быту, если бы получили свободу, заверять о таковой их будущности, я не могу».