Перед отправлением в оренбургские батальоны Сераковский говорил, что надеется исключительно на свою силу духа. Ему пришлось действительно мобилизовать все силы, всю волю, чтобы с честью выйти из уготованных ему жандармами испытаний. Он пробыл в батальонах восемь лет, с 1 июня 1848 года до 16 февраля 1856 года. Товарищи Зыгмунта — дворяне, вместе с ним начавшие службу, были произведены из юнкеров в офицеры через шесть месяцев. Но Сераковский не мог добиться документального подтверждения своих дворянских прав. Он попытался получить личное дворянство, сдав экзамены за университет, но шеф жандармов отказался перевести его в ближайший университетский город — Казань. Сераковский не был оставлен даже в Оренбурге, где была значительная колония политических ссыльных. Местом службы Зыгмунту был определен форт Ново-Петровск, тогда только что строившийся. Вот в этомто степном укреплении и начал Зыгмунт трудную, но единственную дорогу к свободе — овладение «фрунтовой» премудростью для производства в офицеры. Другие пути были для политического преступника в империи Николая отрезаны. Что пришлось перенести Зыгмунту, попавшему из столичных университетских кругов в николаевскую казарму под надзор безграмотных унтеров и полуграмотных прапорщиков, поклонников зуботычин и шпицрутенов? По-видимому, к периоду жизни Зыгмунта в форте Ново-Петровске относятся эпизоды, рассказанные им позже Чернышевскому. Однажды неграмотный фельдфебель поручил Зыгмунту заучивать с новобранцами так называемые «пунктики», то есть обязанности солдата. Зыгмунт обратил внимание, что при переписке «пунктиков» в канцелярии были допущены ошибки в знаках препинания и первый пункт читался так: «Солдату надо знать: немного любить царя...» Но канцелярия была в Уральске, бумага пришла оттуда, поэтому фельдфебель рявкнул на грамотея и заставил его с товарищами заучивать явную крамолу. Случай сей выплыл, однако, на ближайшем смотре. На приказ проверяющего «читайте пунктики» Зыгмунт по-солдатски, без знаков препинания, прочел то, что их заставляли заучивать. «Зачем вы мне это читаете? Как же можно так образованному человеку?» — кричал генерал. С этим эпизодом, как гласит предание, связано перемещение Зыгмунта в Уральск под надзор батальонного начальства. Это произошло в августе 1849 года.
Год, проведенный в Ново-Петровске, не прошел бесследно. Зыгмунт выдержал первое, самое тяжелое испытание. Он принял груз солдатчины и не согнулся под его тяжестью. Тяжелая солдатская доля заронила в его душу первые мысли о необходимости борьбы за отмену шпицрутенов, за уничтожение палочной дисциплины.
В Уральске Зыгмунт пробыл до конца сентября 1850 года. Здесь он нашел друзей и единомышленников среди офицеров гарнизона и политических ссыльных. Те немногие свободные часы, которые у него оставались, он посвящал учебе, совершенствовался в иностранных языках, овладевал местными языками. Он свободно владел английским, французским, немецким, казахским. Зыгмунт укрепляет свои связи с оренбургской польской колонией и благодаря помощи друзей осенью 1850 года добивается перевода в Оренбург. К этому времени он получил производство в унтер-офицеры, а вместе с тем и некоторую свободу и досуг.
В Оренбурге Зыгмунт стал центром тамошней польской колонии, объединявшей как политических ссыльных, так и офицеров и чиновников. В те годы Оренбург был местом ссылки революционеров. Преимущественно это были польские дворяне — участники национально-освободительного движения. Но были здесь и русские революционеры — соратники Петрашевского (Плещеев, Ханыков и др.) Соизгнанники хорошо организовали взаимопомощь. На квартирах у бывших ссыльных бывших в городе, можно было отдохнуть от муштры, почитать книгу, послушать музыку, побеседовать с друзьями. Постепенно у польской колонии образовалась небольшая, но хорошо составленная библиотека, выписывались газеты и журналы.
Друзьям, собиравшимся у него на квартире, Зыгмунт ставил кувшин молока. Скудный бюджет солдата не позволял устраивать более щедрые приемы. Эти «великомолочные вечера» остались у многих в памяти. В круг ближайших товарищей Зыгмунта в Оренбурге входили военные Ян Станевич, Людвик Турно, Карл Герн, чиновники Венгжиновский и Кирш, ссыльные Бронислав Залеский, Евстафий Середницкий и др. Станевич был знаком Зыгмунту еще по Петербургу. Залеский, также литвин, был сослан незадолго до Сераковского, Середницкий и Гсфдон в прошлом были близки к Конарскому.
Польская колония в Оренбурге поддерживала постоянную переписку с известным поэтам Эдвардом Желиговским («Совой»), сосланным в Уфу Она приняла близкое участие в судьбе Тараса Шевченко, когда он находился в Оренбурге, и не оставила его после высылки в Ново-Петровск.