Снова поплыли по морю. Дойдя вдоль берега до устья реки Учальды, казаки увидели тунгусские юрты и остановились. Время было осеннее. Дождавшись зимнего пути, 15 декабря 1652 года на нартах отправились через горы. Спустя четыре недели вышли на реку Тугур, где набрели на гиляцкое стойбище. Казаки обязали гиляков платить ясак и сразу взяли 70 соболей. Построили здесь острог, в котором и прожили до лета.
А 30 июня 1653 года на легком струге Иван Нагиба с четырьмя товарищами — Иваном Михайловым, Павлом Степановым, Федором Спиридоновым и Степаном Дмитриевым — поплыл вниз по реке. Выйдя в море, струг четыре недели плыл вдоль берега, а затем четыре дня поднимался вверх по реке Нангтары (может быть, Лантары, к югу от залива Аян). Когда плыть стало невозможно, пошли пешком через хребет Джугджур. Перевалив через него, путешественники попали на реку Ватангу (Ваган), по которой на легком суденышке, построенном тут же, спустились до реки Маи. Затем вышли на Алдан и уже оттуда на Лену. 15 сентября 1653 года Иван Нагиба со своими спутниками добрался наконец до Якутска; здесь он немедленно организовал смену товарищам, оставленным во главе с Иваном Уваровым на реке Тугур.
Тем временем отряд Чечигина, не дождавшись разведки Нагибы, в конце мая вышел к Хабарову. Долгожданная встреча состоялась у Хинганского хребта. Неделю казаки отдыхали. В то время, когда велись поиски, Хабаров со своим отрядом зимовал в низовьях Амура, среди ачан.
У Хабарова осталось менее 200 человек, а помощь от воевод все не подходила. Необходимо было во что бы то ни стало связаться с Якутском, и Хабаров поплыл вверх по Амуру. Он построил шесть дощаников и разместил на них все: пушки, запасы, лошадей. 22 апреля пошли в обратный путь. Большей частью гребли, а когда дул попутный ветер, поднимали паруса. Проплыли мимо земель натков, миновали устье реки Сунгари, добрались до Хинганского ущелья — амурских «щек» — и при выходе из него увидели спускающийся вниз отряд казаков. Это были Чечигин, Петриловский, которые привезли Хабарову людей, порох, свинец и одну пушку.
В отряде между тем росло недовольство Хабаровым. Часть казаков пришла к нему, надеясь на быстрое обогащение за счет разбоя и грабежа. Они требовали от Хабарова военных действий, когда в этом совсем не было необходимости. Мирные взаимоотношения с местными жителями их не устраивали. Перспектива зимовки в верховьях реки, где нечем было поживиться, не радовала, и они решились на открытое выступление против Хабарова.
Произошло оно в устье реки Зеи. Хабаров выбирал здесь место для строительства русского города-крепости, который стал бы резиденцией властей на Амуре. 1 августа 1652 года Хабаров собрал своих сподвижников, чтобы обсудить предстоящие дела. Тут-то и показали себя заговорщики во главе со Степаном Поляковым, Косткой Ивановым и Логином Васильевым. Они не хотели мирно жить на одном месте. На трех дощаниках поплыли они вниз по Амуру, силой захватив с собой часть несогласных с ними казаков (около 30 человек), а также запасы пороха и свинца.
Хабаров с товарищами ездил к восставшим, уговаривал их, но безрезультатно. 136 человек покинули отряд, захватив разного имущества на 2 тысячи рублей и войсковое знамя. У Хабарова осталось 212 человек, и положение отряда ухудшилось. Теперь местные жители уже не верили, что притеснять их больше не будут. Они отвечали упреками: недавно пошел вниз большой отряд, который громил и грабил селения. Обо всем этом Хабаров сообщил якутскому воеводе в подробной отписке. В ней же просил он о помощи и намечал дальнейший план походов на другие реки — притоки Амура. А с бунтовщиками решил расправиться сам. 30 сентября Хабаров захватил их в остроге в низовьях Амура. По его приказу бунтовщиков жестоко избили батогами.
Побывавшие на Амуре рассказывали сибирским казакам и поселенцам о необычных богатствах земель того края. Говорили о хорошем климате, о золотых и серебряных россыпях и т. п. В рассказах было много преувеличений, но свое дело они делали. Началось настоящее паломничество на Амур, приостановить которое было невозможно. За беглецами посылали погоню, но это не помогало. Часто служилые присоединялись к бежавшим и уходили на Амур сообща.
У якутского воеводы не хватало сил, чтобы закрепиться на Амуре, и он все время просил помощи у царя. А с последним своим донесением даже отправил в Москву хабаровца — Дружинку Васильева Попова, чтобы тот лично объяснил положение дел на Амуре. В Москве еще до приезда туда Попова было решено послать на Амур трехтысячное войско под командованием князя Лобанова-Ростовского. В марте 1652 года для размещения людей, постройки дорог и ознакомления на месте со всеми делами на Амур был послан московский дворянин Дмитрий Иванович Зиновьев. В этом году он до Амура не дошел и добрался лишь до Чечуйского волока — между Леной и Тунгуской, где и зимовал.
Встреча Зиновьева с Хабаровым произошла только в первых числах августа 1653 года на устье реки Зеи. Зиновьев привез царские награды всем участникам похода. Прямой и честный Хабаров не понравился спесивому и властолюбивому московскому дворянину. В ответ на приказание Зиновьева отчитаться перед ним Хабаров спросил у посланца царскую грамоту, официальные полномочия. Это окончательно взбесило Зиновьева. Сохранились известия, что он, заподозрив «Хабарова в утайке ясака, требовал от него отчета и дерзость свою простер до того, что плевал Хабарову в лицо, драл за бороду и вооружил против себя товарищей героя».
Уезжая с Амура, Зиновьев решил взять с собой в Москву самого Хабарова. Есть сведения, что он вез Хабарова арестованным, отобрал у него все имущество. Зиновьев распорядился построить три острога: в Лав-каевом улусе, на реке Урке и в устье Зеи. Главным вместо Хабарова он оставил служилого Онуфрия Степанова, который с отрядом до 1658 года разъезжал по Амуру, собирая с жителей ясак.
Несмотря на столкновения с русскими служилыми людьми, нередко провоцируемые маньчжурами, пытавшимися настроить местное население против «леча» — русских, даурское население чувствовало постоянную опасность вторжений маньчжурских войск. В Москве Зиновьев докладывал, что осенью 1653 года «даурские иноземцы» били челом царю Алексею Михайловичу, чтобы «государь пожаловал своим государевым служилым людям и охочим людям воевать и грабить их не велел, а они де, иноземцы, государю ясак с себя по свое мочи платить учнуть и быти под ево государскою царьского величества высокою рукою и вечном холопстве ради, только б государь пожаловал, веля их оберегать от богдойского царя».
Что же стало с Хабаровым? По прибытии его в Москву царь Алексей Михайлович пожелал видеть славного землепроходца. Хабаров был принят ласково, награжден званием сына боярского. Кроме того, он был назначен приказчиком поселений между Леной и Илимом, от Усть-Кута до Чечуйского волока. Имущество, отобранное Зиновьевым, было ему возвращено. Но по прибытии на Лену Хабарова вскоре арестовали и отправили в Якутский острог, так как он не мог сразу рассчитаться с долгами, сделанными перед даурским походом. Хабаров нашел поручителей и лишь тогда смог возвратиться на свои земли. В ноябре 1667 года Хабаров просил тобольского воеводу П. Годунова отпустить его снова на Амур, но получил отказ. Свои последние дни Ерофей Павлович провел, по-видимому, или в Илимском остроге, или в деревне Хабаровке, около Усть-Киренги. Сын его Андрей впоследствии стал посадским человеком.
В ответ на челобитную «даурских иноземцев» после возвращения Зиновьева в Москву на Амур была послана «царская грамота с предписанием строго соблюдать принципы ясачного сбора, отпустить всех ранее взятых в плен и оберегать местное население от маньчжурских войск».
Исключительно велико историческое значение действий Пояркова и Хабарова на Амуре, неоценимы результаты географических открытий славных русских землепроходцев. Эти русские люди совершили подвиги, достойные самого глубокого уважения и восхищения. Советский народ бережно хранит память о Ерофее Павловиче: огромный край и его центр носят имя Хабарова.