В течение 20 дней своего пребывания на Амуре Зиновьев провел опросы всех людей Хабарова, а затем снова вызвал его к себе. Зиновьев вновь приказал Хабарову отправиться для отчета в Москву, на что тот в свою очередь потребовал предъявления царского указа.
Обозленный Зиновьев избил Хабарова, посадил под арест, приказав переписать в казну все его имущество. Вскоре Зиновьев отбыл с Амура, назначив на место Хабарова есаула и пушкаря Онуфрия Степанова (Кузнеца). Однако тот, понимая несправедливость всего содеянного, с большой неохотой занял эту должность, взяв к себе в помощники племянника Хабарова.
Отъезжая с Амура, Зиновьев забрал с собой весь основной запас хлеба, свинца и пороха, весь ясачный сбор и даже ясачные книги. Вместе с Зиновьевым в Москву отправились и толмачи из местных жителей.
Хабаров также отправился в Москву вместе с Зиновьевым. Опасаясь побега бывшего командира отряда, Зиновьев распорядился, чтобы в некоторых местах маршрута, которые он сам считал наиболее подходящими для побега, на Хабарова надевали кандалы.
По пути в Москву Хабаров неоднократно встречал группы людей, стремящихся попасть на Амур и осесть на вновь присоединенных землях. К середине февраля 1653 года Хабаров прибыл в Москву.
К этому же времени Зиновьев уже отчитался з Посольском приказе о своей поездке на Амур. Он не мог скрыть положительного значения присоединения Даурии, но в то же время отрицал положительную роль в этом самого Хабарова и лишь подчеркивал степень его вины.
Однако руководство Сибирского приказа во главе с князем А.Н. Трубецким достаточно быстро разобралось в деле и признало заслугу Хабарова в присоединении новых земель.
Хабаров в свою очередь подал жалобу на Зиновьева, обвиняя его в издевательстве, вымогательстве взяток и присвоении его имущества.
Дело длилось более двух лет, но в конечном итоге было вынесено решение признать Зиновьева виновным в злоупотреблении служебным положением и клевете на Хабарова. Зиновьев был предупрежден, что в случае повторного инцидента подобного рода он может быть подвергнут смертной казни.
Хабаров попытался вернуть и свое имущество, присвоенное Зиновьевы, но сделать это ему не удалось. Часть имущества уже исчезла, а остальная часть являлась такой спорной, что идти ради нее «на правеж», т.е. под пытку, Хабаров не хотел.
Чтобы хоть как-то вернуть потерянное, Хабаров подал челобитную царю Алексею Михайловичу с описанием всех своих дел на Амуре. Он просил о «поверстке» его в «чин, какой он пригодится». Хабаров хорошо усвоил урок, полученный им на Амуре, когда приказные дьяки пытались обвинить его и бывшего начальника — Францбекова в самоуправстве, т.е. предоставлении Хабарову полномочий, несвойственных его чину.
Сибирский приказ принял решение о «поверстке» Хабарова в дети боярские, это было большой редкостью для Сибири, поскольку ранее Хабаров не занимал должности ни в стрелецкой, ни в казачьей службе. Он получил назначение в Илимск и был вынужден расстаться с мечтой вернуться на Амур.
К этому времени Сибирский приказ принял решение об организации Амурского воеводства, первым воеводой которого был назначен А. Пашков. Хабаров принял непосредственное участие в составлении наказной грамоты для нового воеводы, где поделился собственным опытом, накопленным во время пребывания на Амуре.
Летом 1658 года Хабаров приехал в Илимск, где поселился на Киренге в собственной деревне. Но лишь только он стал осваиваться на Киренге, как из Сибирского приказа в Якутск пришла грамота, обвиняющая Хабарова в сокрытии на Тугирском волоке большого запаса пороха и свинца, спрятанного им здесь при поездке в Москву. Якутскому воеводе М. Ладыженскому предписывалось препроводить Хабарова под конвоем к Тугирскому волоку и при обнаружении государевой казны доставить ее в Нерчинск к воеводе Пашкову. В противном случае Хабарова предписывалось доставить под конвоем в Якутск для дачи объяснений.
Однако государеву казну (свыше 80 пудов) найти не смогли и Хабаров был доставлен в Якутск. С большим трудом ему удалось объяснить Ладыженскому, что спрятать один такой большой груз он никак бы не смог, и тогда воевода решил предъявить Хабарову долговые обязательства за средства, взятые в казну за экспедиции 1648–1650 годов.
Но платить Хабарову было нечем, Ладыженский отписал в казну чечуйскую мельницу, чем несколько снизил долговые обязательства Хабарова. Затем по указанию воеводы была захвачена часть покрученников Хабарова, у которых в качестве долга были взяты добытые соболя. Самому Хабарову угрожали поставкой на правеж и последующей конфискацией деревни Хабаровки.