На обратном пути имел место любопытный случай. Где-то на Олекме, а может быть и раньше, к отряду пристал Федька Серебряник, который был рудознатцем, служил в войске Хабарова, а теперь ходил из Илимска на Тугирский волок и верховья Амура как покрученник Хабарова. Федька был старателем и вез в мешке несколько образцов руды. Сначала они попали в руки к Хабарову, и тот признал, что руда, пожалуй, серебряная. О находке узнал Федор Пущин. Она его очень взволновала, потому что он был знатоком серебряных руд и, начиная с 1655 г., якутские воеводы именно ему поручали искать серебро на Амуре. Пущин тотчас же послал вперед своего отряда казака к якутскому воеводе и просил его приказа привезти Федьку в Якутск с тем, чтобы перехватить у илимского воеводы приоритет открытия в верховьях Амура серебряной руды. Чем окончилась тогда эта история с серебром и Федькой, нам пока не известно, но что касается Ерофея Павловича, то его под охраной доставили в Якутск. Здесь Хабарову пришлось долго объяснять воеводе, что во время своей поездки в Москву он никак не мог воспользоваться казной на Тугирском волоке и что ею поживился не он, а кто-то другой.
Тогда воевода потребовал от Хабарова уплаты 4850 руб. 2 алтын денег, которыми оценивалось снаряжение экспедиции, взятое землепроходцем из казны в 1649 и 1650 гг. Хабарову платить было нечем. И воевода отписал у него в казну чечуйскую мельницу, стоимость которой составила 330 руб. Таким образом, долг снизился до 4550 руб. Кроме того, по указанию якутской администрации, на олекминской заставе была перехвачена ватага покрученников Хабарова. Добытых ею 2 сорока 28 соболей воевода в счет долга грозил забрать в казну. Перед Ерофеем Павловичем нависла угроза правежа, конфискации деревни Хабаровки и полного разорения.
С большим трудом землепроходец уговорил якутского воеводу предоставить ему возможность выплатить долг частями. Сошлись на том, что отныне Ерофей Павлович будет ежегодно посылать в Якутск в счет долга по 1000 пудов хлеба из своего хозяйства, а якутский воевода — беспрепятственно пропускать покрученников Хабарова на олекминский промысел и не посягать на добытых ими соболей. Но в обеспечение договора воевода потребовал от Хабарова поручительства надежных людей, которые бы согласились нести за него материальную ответственность. Таких людей Ерофей Павлович обещал найти в Илимске и упросил воеводу отпустить его туда. Воевода согласился, однако вместе с землепроходцем отправил в Илимск пристава, а также Федора Пущина с казаками. Последним был отдан строгий приказ в случае невыполнения Хабаровым обещания привезти его снова в Якутск, но уже как арестанта.
Ерофей Хабаров слово сдержал. В Якутск Федор Пущин вернулся с добрыми поручными записями о Хабарове и тяжело нагруженными хабаровским хлебом дощаниками.
Кто из родных и близких окружал в те годы Хабарова? Известно, что он был женат еще до поездки в Мангазею. Жена его, Василиса, с остальными родственниками жила то в Соли Вычегодской, то в Устюге Великом. В 1643–1644 гг., находясь в якутской тюрьме, Ерофей Павлович просил было отпустить его в Соль Вычегодскую к семье. В челобитной он перечислял жену Василису, дочь Наталью, племянника и племянницу, находившихся на его попечении. Ответ с разрешением главы Сибирского приказа Никиты Ивановича Одоевского пришел в Якутск в 1645 г. Но тогда Хабаров не поехал.
В 1650 г., вернувшись с Амура в Якутск за подкреплением, он написал челобитную с просьбой отпустить к нему из Устюга Великого жену Василису, дочь Наталью, внука и племянников. Это было время, когда Францбеков благоволил Хабарову, и землепроходец надеялся на его содействие в устройстве своей семьи либо в Якутске, либо на Киренге.
Челобитную Хабарову, заверенную воеводой Францбековым и дьяком Степановым, подал в Москве 27 января 1651 г. ленский (якутский) пятидесятник Иван Кожин. Тогда же из отписки Францбекова в Сибирском приказе стало известно о походе Хабарова и занятии им нескольких даурских городков. Не без учета этого факта Москва удовлетворила просьбу землепроходца. На обороте его челобитной появилась помета (резолюция), сделанная одним из подьячих Сибирского приказа: «Приказал боярин и князь Алексей Никитич Трубецкой послать память в Устюжскую Четь (приказ, ведавший Устюгом Великим. — Г. Л.), велел жену и сына (почему-то подьячий назвал дочь сыном), племянников и внука к нему отпустить и подводы до Сибири дать». Вероятно, пятидесятник Иван Кожин привез семью Хабарова в Якутск, захватив ее на обратном пути из Устюга Великого. В 1652 г. на Амуре, кроме уже находившихся там Никифора Хабарова и Артемия Петриловского, появились еще два «сродника» Ерофея Павловича.