5 марта 1953 года умер Сталин. Вместе с ним ушла целая эпоха. Зою Ивановну, как и миллионы других людей, преследовало чувство невосполнимой потери. Однако народ наряду с сожалением испытывал странное ощущение внезапной свободы от страха. На Лубянке сразу после траурных дней начались массовые увольнения, сокращения и аресты участников в репрессиях 1937–38 гг. Органы государственной безопасности освобождались от старых кадров и неугодных сотрудников. В июне 1953 года был арестован, а впоследствии расстрелян Берия. Как его соратник был арестован Павел Анатольевич Судоплатов.
Зоя Ивановна не могла остаться в стороне от этого события. С Судоплатовым ее связывали не только служебные отношения, но и крепкая давняя дружба. На отчетно-выборном партийном собрании управления в состав нового партийного комитета была выдвинута кандидатура Рыбкиной. Но Зоя Ивановна выступила с самоотводом, объясняя такую позицию несправедливым арестом Павла Анатольевича.
Это крайне негативно отразилось на ее собственной судьбе. На следующий день после выступления на собрании Рыбкиной объявили, что она уволена «по сокращению штатов». Должность начальника отдела не была сокращена, до пенсии Зое Ивановне оставалось проработать около года (стаж разведчика составлял 25 лет)… Будучи настойчивым и волевым человеком, Рыбкина стала ходить по различным инстанциям, добиваясь справедливого разрешения своего дела. Ей сознательно «урезали» срок службы в органах государственной безопасности — не могли найти приказ о двухлетней работе Зои Ивановны в Китае. Встречное предложение руководства сводилось к тому, чтобы полковник Рыбкина выехала на работу оперуполномоченным в Омск. Зоя Ивановна была возмущена: «Это вызовет недоумение. Полковник понижается на пять ступеней?» Тогда ей предложили работу начальником контрразведки в Балашове (Куйбышевская область). У Рыбкиной на руках были больная мама и ребенок. Ехать с ними на периферию не представлялось возможным. Тогда Зою Ивановну направили в распоряжение ГУЛАГа.
«На Колыму согласны?» — спросили там. «Согласна». — «В Магадан?» — «Тоже согласна». — «Да вас там немедленно проиграют в карты, а я отвечай. Потом вы знаете какие-то иностранные языки, а там в употреблении только матерный». — Такой разговор, состоявшийся в кабинете руководства, вспоминала Зоя Ивановна.
Ее командировали в Воркуту для работы начальником спецотдела лагеря, где содержались заключенные. Зоя Ивановна спокойно отнеслась к новой должности, ведь еще в молодости приобрела опыт общения с правонарушителями (вспомним ее политруководство в колонии малолетних преступников).
Период своей деятельности за Полярным кругом она описала в одной из своих книг:
«Мое появление в Воркуте произвело сенсацию. Оказалось, что во всей Коми АССР появился единственный полковник, и тот — женщина! Даже министр внутренних дел был майором, а начальником внутренних войск — подполковник. В мужских парикмахерских втрое увеличилась клиентура, в парфюмерном магазине раскупили весь одеколон. Под разными предлогами в мой кабинет заходили начальники и сотрудники других отделов. Перед совещанием руководящего состава офицеров особо инструктировали: вместо "ссучиться" (что означало работать на администрацию) говорите "сотрудничать". Меня развлекали байками из жизни:
— Уйдешь на работу, затопишь печку, поставишь щи варить. Вернешься обратно — ни печки, ни щей. Вечная мерзлота подтаяла, и печка провалилась.
На четвертый день у меня был тяжелейший сердечный приступ: сказалась нехватка кислорода. Потом привыкла, проработала полгода — это засчитывалось за год службы, и я могла уйти по выслуге лет. Но в это время слили наш лагерь с Особым, в котором содержались политические, и меня уговорили стать начальником спецотдела объединенного лагеря. (Заметим, что возглавляемый ею Оперотдел объединения лагерей насчитывал в 1954 году 60 тысяч заключенных — авт.) В качестве лектора-международника я выезжала в воинские части, бывала у заключенных, работавших в шахтах. По привычке обращалась к присутствующим: "Товарищи" и слышала ответ: "Мы не товарищи, а зэки и каэры (заключенные и каторжане)", "Но вы будете товарищами", — уверенно говорила я.