Путь по Алдану, Учуру, Гонаму оказался более трудным и долгим, чем это предполагали в Якутской приказной избе. Только по Гонаму он продолжался в течение 5 недель. Начинались заморозки. Двигаться на судах становилось все труднее. До зимы отряд так и не смог достигнуть волока, ведущего в Приамурье. На Гонаме, не доходя реки Нюемки, Поярков поставил зимовье, где члены экспедиции отдохнули после тяжелой дороги. Через 2 недели было решено оставить с основными запасами вмерзшие в лед суда и идти дальше налегке, прихватив оружие и немного хлеба. За волоком Поярков надеялся сразу обложить ясаком местное население и получить у него необходимое продовольствие. Охрану судов и основной казны Поярков поручил 40 казакам во главе с пятидесятником Петрикеем Мининым, приказав им по последнему зимнему пути перейти с казной за волок на реку Брянду, впадающую в Зею, сделать новые суда и весной догонять его.
Основной отряд в количестве более 90 человек во главе с Поярковым двинулся дальше. Казаки впряглись в нарты и шли сначала по замерзшему Гонаму, а затем по Нюемке. С трудом перевалив Становой хребет, через 2 недели они достигли реки Брянды — притока Зеи. Здесь Пояркову стали попадаться тунгусы-скотоводы. Своего хлеба они не имели, а выменивали его на скот у дауров. Не останавливаясь в районе тунгусских кочевий, Поярков добрался до устья реки Умлекана, где впервые встретил дауров из рода князьца Доптыуля. В устье Умлекана решено было поставить зимовье и подождать оставшуюся на Гонаме казну. Здесь же Поярков предпринял первую попытку объясачивания дауров: князец Доптыуль был взят в аманаты (заложники) и с его рода собрали ясак.
Первоначально отношения с местным населением у Пояркова были дружественными. Известно, что 21 декабря 1643 г. к нему в зимовье в устье Умлекана приезжали «без опасения» даурский князец Бебра с племянником Даварей и дючерский князец Чинега, которые привезли ясак. От них Пояркову удалось узнать о Дау-рии ценные сведения, частично опровергающие ходившие о ней слухи. Со слов Доптыуля выяснилось, что на Зее и Амуре серебра, меди, камок и кумачей нет и что дауры выменивают их на соболь у хана «Барбоя». Князьцы Бебра и Чинега поправили Доптыуля, сказав, что и «у хана Барбоя серебро, медь, олово, кумачи не родятся», а обменивает он их в Китае. Те же князьцы жаловались Пояркову на «Барбоя», который в иные годы приходит ¦с ордою», с многими пушками и огненным боем, грабит их улусы и угоняет пленных.
Показывая свое расположение к русским, дауры, жившие в устье Селимджи в городке Молдакичит, согласились дать казакам «для прокорма до весны» 40 кузовов- круп и 10 голов крупного рогатого скота. За продовольствием Поярков отправил отряд во главе с пятидесятником Петровым. Но служилые люди решили потребовать большего. Приняв продовольствие, они захватили в аманаты двух князьцов Досия и Колпу и осадили Молдакичит. В ответ дауры сделали неожиданную вылазку, во время которой убили 9 казаков. Теснимые даурами, служилые отошли к юртам, расположенным за пределами городка. Там они просидели в ооаде трое суток. Только на четвертые сутки людям Пояркова под прикрытием ночной темноты удалось прорваться и уйти, бросив полученное продовольствие и скот. Через 10 дней они вернулись в устье Умлекана к зимовью Пояркова.
Ошибка Пояркова, который приказал Петрову «приводить под высокую государеву руку» местное население не только «ласкою, но и жесточью», имела для отряда тяжелые последствия. Зимовка 1643–1644 гг. в устье Умлекана — один из трагических эпизодов деятельности землепроходцев в Сибири. Отбиваясь от наседавших со всех сторон дауров, отряду пришлось пережить все ужасы голода. Люди питались «травой и кореньем». Некоторые из них, по словам очевидцев, «не хотя напрасно смертию помереть, съели многих мертвых иноземцев и служилых людей, которые с голоду померли… И они, служилые люди, которые мертвых служилых и иноземцев ели, иные ожили, а иные померли». Всего в ту страшную зиму из 90 человек в отряде Пояркова от голода и болезней умерло 40 человек.
После вскрытия рек к Пояркову пришли суда, которые пятидесятник Минин и его казаки благополучно переволокли на Зею. Получив подкрепление и продовольствие, отряд пошел вниз по Зее. Поскольку в разгар весенних полевых работ местное население вышло в поле, казаки смогли беспрепятственно осмотреть некоторые из даурских городков. Все они имели башни и стены, были окружены рвами и валами. За городскими укреплениями размещались юрты для жилья и загоны для скота и конских табунов. В городках каяаки взяли запасы хлеба, меха и некоторые другие предметы. В городке Балдачи их внимание привлекла медиа л посуда, которой, как им показалось, «было бес числа много».
Район, прилегающий к устью Зеи, где теперь находится Благовещенск, приглянулся Пояркову и его спутникам. Казаки насчитали здесь 6 культур: ячмень, овес, просо, гречу, горох, коноплю. В огородах у местных жителей росли огурцы, бобы, капуста, чеснок, а в садах — яблони, груши, орехи. «И рыбы у них в той Зее белуг и осетров и иной всякой много, а зверя соболя и иного всякого ж много», — писал впоследствии Поярков.
В этом благодатном крае Поярков решил было строить острог, из которого объясачивать дауров. Но предварительно он отправил 25 человек во главе с десятником Ильей Ермолиным разведать, далеко ли от устья Зеи до моря. Пройдя вниз по течению Амура, но так и не достигнув моря, разведчики через трое суток повернули назад. На обратном пути отряд подвергся неожиданному нападению дючеров. Только двум казакам удалось спастись. Они-то и принесли Пояркову весть о печальной участи товарищей.
С оставшимися людьми Поярков не рискнул строить острог в населенном месте и пошел вниз по Амуру. От устья Зеи отряд плыл «три недели дючерами». Про них Поярков рассказывал, что они «такие же сидячие и хлебные и скотные, что и дауры».
К осени 1644 г. ниже правого притока Амура реки Сунгари Поярков увидел земли натков (гольдов), а еще через несколько дней пути — земли гиляков (нивхов). В отличие от дауров и дю-черов они не знали земледелия и жили рыбным промыслом и охотой: «Натки живут по Амуру по обе стороны улусами, ясаку никому не дают… А гиляки сидячие живут по обе стороны Амура и до моря по губам улусами, кормятся рыбой. Ясаку гиляки не платят».
В Гиляцкой земле Поярков поставил небольшое зимовье. Отношения с местными жителями установились мирные. Поярков и его товарищи бывали в жилищах гиляков и имели возможность наблюдать их быт. Гиляки жили зимой в деревянных рубленых юртах, а летом переселялись «в клети безоконные», которые строились на сваях. Около юрт находились «вешала» для провесной рыбы и срубы, где кормили медведей. Медведь почитался у гиляков в качестве священного животного и выкармливался для общественного праздника, когда его убивали из луков на особой ритуальной площадке. Убедились русские и в многолюдности Гиляцкой земли.
Первоначально казаки не делали попыток обложить ясаком гиляков. Они выменивали у них дрова и вяленую рыбу на русские товары. Только по окончании зимовки казаки захватили в аманаты 3 гиляцких князьцов, собрали под них ясак, а самих князь-цов взяли с собой в Якутск.
Весной 1645 г., когда вскрылся лед, Поярков принял решение о возвращении. К этому времени в его отряде осталось только 50 человек: 9 он потерял в стычках с даурами, 40 умерло с голода и от болезней, 23 были убиты в Дючерской земле. Возвращаться прежним путем с небольшим отрядом он не рискнул: слишком хорошо помнили казаки гибель Ильи Ермолина и его товарищей. Да и идти на веслах измученным голодной зимовкой людям в половодье против течения Амура и его притоков было бы более чем безрассудно. И Поярков принял единственно правильное решение — возвращаться Охотским морем и далее маршрутом Ивана Москвитина.
Летом 1645 г., оставив в устье Амура свое зимовье, Поярков вышел в Охотское море. Плавание на речных судах, неприспособленных к плаванию по морю, было очень тяжелым и опасным. Много раз казаки попадали в шторм и туман, надолго теряли берег из вида, и тогда гибель казалась им неминуемой. К тому же у участников экспедиции не было хлеба, и это усугубляло их страдания. 12 недель добирались суда по бурному морю до устья реки Ульи. Неизвестно, нашел ли Поярков здесь зимовье Ивана Москвитина или поставил свое, но в устье Ульи он остался на третью зимовку. В мае 1646 г., поручив ясачий сбор с окрестных тунгусов 20 служилым и промышленным людям, Поярков пошел с остальными по маршруту Ивана Москвитина: вверх по реке Улье до волока, затем через волок по Юдоме в Майю, из нее — в Алдан и Лену. 12 июня 1646 г. отряд прибыл в Якутский острог.