"Надо сознаться, — говорит Полина, — что много было поэзии в нашей жизни. Если много было лишений, труда и всякого горя, зато много было и отрадного. Все было общее — печали и радости, все разделялось, во всем друг другу сочувствовали. Всех связывала тесная дружба, а дружба помогала переносить неприятности и заставляла забывать многое".
Чтобы улучшить свой быт, дамы начали строить собственные дома — это были типичные крестьянские избы, но с некоторыми все же усовершенствованиями: в них было перенесено как можно больше городского. Комендант Лепарский, который знал уже, что вот-вот всей колонии предстоит большой поход, не удерживал дам от строительства, чем, конечно, содействовал развитию Читы, но вверг своих подопечных в ненужные и немалые траты.
Наступил 1830 год, все было готово в Петровске, начался великий переход декабристов из тюрьмы в тюрьму, переход, так ярко описанный Александром Ивановичем Одоевским:
Жизнь Анненковых в Петровске ничем не отличалась от судьбы их сотоварищей. Разве только что Полина родила мужу еще двух детей. Теперь у них была большая семья — и все мал мала меньше. Веселый, добрый нрав, находчивость, умение без жалоб и тоски выходить из сложных материальных невзгод, врожденная работоспособность помогли Полине и содержать семью, и быть, можно сказать, матерью мужу своему, и поддерживать ровные отношения со всей декабристской колонией в Петровске. Ее муж, человек умный, добрый и обаятельный, был к ней сердечно привязан, и любовь помогла Анненковым перенести тяжелый удар: они похоронили старшую дочь.
20 августа 1836 года, простившись с дорогой могилой, Анненковы покидали Петровск вместе с восемнадцатью товарищами, срок каторжных работ для которых истек. Рвались узы братства, только сейчас на пороге разлуки люди понимали, насколько они дороги друг другу. Жена декабриста Юшневского писала о братьях Бестужевых: "Они в большом горе, что надо проводить Анненкова". Те, что оставались, загрустили, те, что уезжали, старались держаться друг друга — так возникли колонии декабристов близ Иркутска: в Оёке, в Урике, в Малой Разводной, куда стремились прибиться те, кто покидал Петровск позднее. Анненковым было назначено местом пребывания село Вельск — тоже близ губернского центра. Однако видимость освобождения, породившая некоторые иллюзии, не принесла облегчения. Еще в Петровске простудился младший ребенок, в дороге болезнь усилилась, в Иркутске у малыша отнялась нога, и вскоре после прибытия на поселение Анненков вынужден письменно обращаться к генерал-губернатору Броневскому с просьбой: "Сделайте милость, дозвольте г-ну Вольфу приехать в Вельск, чтобы подать помощь меньшому моему ребенку… у него свело ногу, и он может навечно остаться калекою…"
Бесправные, брошенные на произвол судьбы, они были лишены не только общения, которое еще совсем недавно приносило им радость и облегчение, но и возможность приобрести самое необходимое для жизни, ту малость, без которой дом — не дом. Деликатный и терпеливый, Анненков снова обращается к Броневскому. На этот раз вежливые формы вроде "сделайте милость" или "не оставьте без внимания" сменились выражениями иного свойства:
"Ваше Превосходительство!
Господин испр. должность Земского исправника не сообщил еще по сие время никаких письменных относительно меня распоряжений в Вельск, а в приезд свой приказал предписание объявить нам, что если мы отлучимся без особенного дозволения начальства, то будем судимы как за побег. Словесно же велел старшине осматривать ежедневно мой дом и не выпускать нас из селения.
Подобное распоряжение внушило мне необходимость объяснить Вашему П-ству следующее: я высоко ценю милость Государя Императора, которому угодно было освободить меня на поселение, и, следовательно, по одному тому уже для меня чужда будет мысль о побеге. Прибавьте к этому, что я имею жену и детей, и тогда Вы, верно, убедитесь, что несообразность, к которой предполагают меня способным и за которую меня, не помышлявшего еще о преступлении, угрожают уже предать суду, может быть свойственна одному только безумцу, лишившемуся вовсе рассудка. Не отлучаться же за черту селения, как требует этого г-н исправник, и испрашивать на каждый раз особое дозволение начальства, невозможно по медленности сношений.