Невельской после ухода из Де-Кастри Завойко с кораблями вернулся в Мариинский пост и оттуда к мысу Лазарева на катере "Надежда", но у мыса Уса льды помешали катеру идти дальше. Здесь Невельской узнал, что Бутаков, лейтенант Шварц, мичман Иванов и 160 матросов с "Паллады", взяв с собою продовольствия на 10 дней и 200 зарядов для орудий, пешком направились к мысу Лазарева. Подготавливая все к вводу эскадры в Амур, приходилось распылять силы на постройку батарей и редутов для защиты от неприятеля, если он наконец разгадает загадку исчезновения русских судов.
В то время как Невельской принимал меры к обороне края, спасению кораблей и груза, к устройству вновь прибывших более или менее сносно, генерал-губернатор со значительным подкреплением вновь спустился по Амуру.
Второй сплав состоял из трех отделений: 1-е - из 26 барж под начальством самого Муравьева; 2-е - из 52 барж и 3-е - из 35 барж. Кроме солдат, казаков, артиллерии и военных запасов, на этот раз ехали на Амур и первые переселенцы - крестьяне.
Муравьев спустился по Амуру, имея относительно всех амурских проблем планы и намерения, в большей части противоположные планам и намерениям Невельского.
Невельской требовал занимать край к югу, до самой корейской границы, не удовлетворяться левым берегом Амура, как хотел Муравьев.
Губернатор считал, что Невельской сделал свое дело и теперь уже становится "вреден". Кроме того, Муравьев ни с кем не хотел делить лавры и не желал, чтобы Невельской еще и еще раз мог оказаться правым и бросить тень на славу генерал-губернатора, будущего графа Амурского.
Еще в пути Муравьев составил предписание, которое и отправил в Николаевск к Невельскому с мичманом Литке:
"1. Амурская экспедиция заменяется управлением камчатского губернатора контр-адмирала Завойко, местопребыванием которого назначается Николаевск.
2. Вы назначаетесь начальником штаба при главнокомандующем всеми морскими и сухопутными силами, сосредоточенными в Приамурском крае.
3. Все чины, состоящие в Амурской экспедиции, поступают под начальство контр-адмирала Завойко.
4. Главною квартирою всех наших войск назначается Мариинский пост".
Истинный смысл нового назначения - отстранение от дел - вполне понятен был Невельскому. Давно назревший удар жестоко потряс Геннадия Ивановича. Исполняя приказ, он сдал дела и с женою и дочерью-малюткой отправился в Мариинский пост, где его поместили в двух тесных сырых комнатках, как человека, оказавшегося не у дел.
Период самоотверженной, романтической борьбы окончился. Сошли со сцены герои, для которых выше всего в мире были благо родины и честь. В краю утверждались нравы и принципы царской бюрократии.
Но просто отставкою не ограничились лица, для которых невыгодно было, чтобы истинное значение Невельского стало известно. Биографы-панегиристы Муравьева - Барсуков, Ефимов, Шумахер и др. - приложили немало усердия, чтобы затушевать, отодвинуть в тень фигуру истинного героя бескровного воссоединения с Россией Дальневосточного края.
К концу 1855 года в устье Амура кипела жизнь. До 5 тысяч человек беспрепятственно сосредоточились в местах, где раньше бродили только небольшие группы охотников и рыболовов.
Фрегат, корвет, пароход "Аргунь", паровой катер "Надежда" и около полдюжины мореходных парусных судов стояли на рейде в Амуре, против города Николаевска.
А между тем четыре года тому назад Нессельроде и другие министры не соглашались пустить сюда Невельского на байдарке и вооруженного ручным лотом, боясь мифической китайской флотилии и четырехтысячного гарнизона.
На берегу Амура, там, где недавно в тесной землянке жили лейтенант Бошняк и несколько матросов, раскинулся шумный городок. Десятки палаток и вновь выстроенных домов виднелись на склоне.
По улицам, где еще торчали пни только что срубленных деревьев, проходили отряды солдат и моряков. Гремели песни, с реки доносились пароходные гудки.
С рассвета и дотемна стучали топоры и визжали пилы.
Множество офицеров и чиновников распоряжались на пристани и возле построек.
Афанасий, принесший Невельскому в подарок дичи, растерянно бродил между новенькими срубами, не встречая ни одного знакомого лица. Тщетно спрашивал он у солдат и офицеров, как найти "Невельской-джангин". От него досадливо отмахивались. Никто не интересовался Невельским, и никто не мог сказать охотнику, что его "джангина" давно нет в Николаевске.
Геннадий Иванович в Мариинске целые дни проводил за разбором донесений, писем и отчетов своих сподвижников, заново переживая незабываемые годы борьбы и побед.
Он был ласков с женою и дочкой, но необычайно молчалив и замкнут. Только осунувшееся, еще более постаревшее лицо свидетельствовало о том, как остра была боль и как горька обида.
Ему пришлось много ждать, пока у новых администраторов нашлась возможность отправить его с семьей на родину.
Но вот наступил дань отъезда. На палубе судна, глядя на исчезающие навсегда гористые берега, стоял Невельской, одной рукой обняв прижавшуюся к нему жену, а на другой держа худенькую дочь.
Они навсегда прощались с краем, где прошли лучшие годы их жизни и тягчайшие годы. Надежды, здоровье, молодость - все было отдано этой суровой земле, здесь оставалась маленькая одинокая могила их ребенка. Они стояли молча, прижавшись друг к другу. Безмолвные слезы бежали по поблекшим щекам Екатерины Ивановны, сурово сдвинулись густые брови Невельского. Они стояли и смотрели в сторону ставшего родным края, смотрели, пока далекие берега не поглотил опустившийся туман...
Петербург недоброжелательно встретил Невельского. Клевета преследовала его и там.
"Из слов государя, великого князя, ганерал-адмирала и управляющего тогда морским министерством адмирала Ф. П. Врангеля, - пишет Невельской, я увидел, что был распространен слух, будто бы суда наши, фрегат "Аврора", корвет "Оливуца" и транспорт "Двина", по случаю мелководья на баре р. Амур, выйти из реки не могут, что донесения мои относительно состояния этого бара ложны, и, наконец, что будто бы я виноват в том, что фрегат "Паллада" не ввели в реку и утопили в Императорской гавани. Этот слух был так распространен, что даже Государь Император, к которому я представлялся, несмотря на высокомилостивые слова Его Величества, что Россия никогда не забудет моих, заслуг, изволил заметить мне, что река Амур мелка и не годится для плавания. На это я отвечал Его Величеству, августейшему генерал-адмиралу и, наконец, управляющему морским министерством, адмиралу Ф. П. Врангелю, что слух этот ошибочен: река Амур судоходна, плавание по ней возможно и суда наши благополучно выйдут из реки и лимана, о чем, вероятно, весьма скоро получится донесение; что же касается фрегата "Паллада", то официальные донесения и представления мои, начиная с 1852 года, ясно показывают, что я со своей стороны делал все, чтобы ни того, ни другого не могло случиться, и если бы на них обратили должное внимание, то, наверное бы, этого не случилось.