Раньше многие из казаков были вооружены и снаряжены за счет Хабарова и это давало ему право вмешиваться в их промысловую деятельность и забирать по «кабальным грамотам» большую часть добытой ими пушнины. Люди его отряда должны были нести как государственную службу — строить острожки, суда, собирать ясак, так и заниматься добычей пушнины для того, чтобы платить Хабарову по «кабальным грамотам». Все это нередко приводило к срыву добычи пушнины и опустошению личной хабаровской казны.
Сам атаман также не имел возможности расплатиться с Францбековым, тот уже грозил вызвать его на правеж и, наконец, прислал человека взыскать с братьев Хабаровых иск полной суммой.
Все эти события совпали со смутой, начавшейся в хабаровском отряде. Прежде всего она возникла среди тех казаков, которые пошли за Хабаровым добровольно на собственные средства и теперь желали выйти из хабаровского отряда и действовать самостоятельно.
В августе 1652 года около сотни казаков захватили три дощаника и отошли от берега в районе устья Зеи, где стали заниматься строительством острожка.
Часть хабаровцев кинулась за смутьянами вслед, пытаясь уговорить их остаться и не нарушать ранее данного «крестного целования». Однако те были непреклонны и ушли в Гиляцкую землю. Здесь они построили небольшой острожок, в котором рассчитывали провести зиму, собирать ясак с местного населения, ловить рыбу и добывать соболей.
Спустившись вниз по Амуру Хабаров обнаружил беглецов из отряда, которые уже приготовились обороняться в своем острожке. Но Хабаров принял все меры, чтобы показать сидельцам, что сам он не собирается покидать эти места. Вблизи острожка было сооружено зимовье, а на устроенных раскатах поставлены пушки, из которых хабаровцы начали обстрел острожка. Однако ни ядра, ни пули не повредили его стен, а дальнейшая бомбардировка грозила опустошением всего хабаровского арсенала. И тогда Хабаров приказал готовиться к приступу. Не желая испытывать судьбу, беглецы сдались.
Часть смутьянов была наказана батогами, а главных зачинщиков бунта Хабаров приказал заковать в кандалы и поместить на несколько дней в специальной камере. Все имущество смутьянов было отдано в войсковую казну.
После зимовки в Гилецкой земле Хабаров весной 1653 года пошел к устью Зеи, чтобы окончательно закрепиться там. Здесь и настигло его известие о смещении Францбекова и о начавшемся расследовании против самого Хабарова.
Осенью 1653 года исследование Амура на протяжении всего его течения было завершено, а прилегающие к нему земли присоединены к Московскому государству. Местное население было обложено ясаком.
Но к этому же времени относится начало конфликта Хабарова с его новым начальником воеводой Акинфовым, назначенным на место Францбекова. В этом конфликте немалую роль сыграл донос дьяка Стеншина, направленный им в Посольский приказ. Дьяк обвинил Хабарова в самовольном присвоении звания приказного, которое мог носить лишь человек, состоящий на государственной службе, на которой Хабаров фактически не состоял. Стеншин также обвинил Хабарова в переманивании людей из других отрядов, которые, уходя к Хабарову, забирали с собой и продовольствие, тем самым обрекая своих товарищей на голод.
Вначале руководство Посольского приказа не придало особого значения доносу Стеншина. Однако и отмахнуться от него не могло, ведь в нем говорилось и о том, что Францбеков вкладывал в экспедицию собственные средства, а следовательно, и обогащался за счет экспедиции, прежде всего за счет добычи пушнины. Кроме того, в Посольский приказ поступили доносы от торговых людей, которые жаловались, что Францбеков принудительно закупил у них продовольствие для экспедиции по сниженным ценам.
Несмотря на то что Францбеков был смещен за злоупотребление, на первых порах дело, казалось, обошло Хабарова стороной. Напротив, предполагалось послать на помощь Хабарову 3-тысячное войско во главе с окольничим и воеводой князем И.И. Кобановым-Ростовским. Чтобы организовать прибытие на Амур этих сил, туда был послан московский дьяк Д.И. Зиновьев, которому было поручено принять все необходимые к этому меры.
Прибыв в Якутск, Зиновьев вручил Хабарову и его казакам правительственные награды (самому Хабарову золотой червонец, его людям по «московке» и «новгородке»), но уже через несколько дней объявил ему, что он отстраняется от должности приказного человека и будет отправлен для отчета о своих делах в Москву.
В это же время Зиновьев предложил людям Хабарова высказать ему все претензии к бывшему командиру их отряда. Этим воспользовались казаки, внесшие раскол в отряд и наказанные за это Хабаровым. Теперь они дружно обвинили его в превышении своей власти.