Надвигающаяся война, которая могла привести к захвату превосходными силами англо-французского флота гавани в Петропавловске и утверждению противника в других пунктах побережья, заставила русское правительство действовать энергичнее. Муравьёву было отдано распоряжение приступить к строительству в Сретенске пароходов и непаровых судов, а также готовиться к сплаву войск по Амуру для подкрепления Петропавловска. Правительство при этом вспомнило слова Муравьёва в одной из его записок о том, что достаточно англичанам устроить "умышленный двухнедельный разрыв с Россией, чтобы завладеть Авачинской губой и потом заключить мир, чтобы Авачинской губы нам уже не отдать". Поэтому, по предложению Муравьёва, там было приступлено к созданию военного порта как главной русской опоры на Тихом океане. Невельской же считал, что Камчатка, оторванная от остальной России бездорожьем восточно-якутской тайги и замерзающим в течение полугода Охотским морем, не сможет вести длительную оборону и что поэтому целесообразнее все силы употребить на создание такого порта в южной, незамерзающей части побережья Татарского пролива или Японского моря, который, будучи связан удобными внутренними путями с Амуром и через него с основными центрами страны, сможет обороняться, опираясь на тылы.
Свои мысли по этому поводу Г. И. Невельской неоднократно высказывал как в официальных рапортах и письмах в Петербурге, так и самому Муравьёву.
Это вызвало холодок в отношениях Муравьёва к своему строптивому подчиненному и, в конце концов, привело к полному разрыву. Муравьёв критики не терпел, а так как в конце концов Невельской все-таки оказался прав и сам Муравьёв, после блестяще отраженной камчатским губернатором В. С. Завойко атаки союзного флота на Петропавловск, должен был снять гарнизон Петропавловского порта, жителей и военное имущество, и все это перебросить в устье Амура, то и совсем перестал считаться с заслугами Невельского и при первом удобном случае постарался убрать со своего пути такого самостоятельного в действиях и мнениях человека, как Г. И. Невельской.
В признание заслуг Геннадия Ивановича, с которыми не считаться было нельзя, он был произведен в контр-адмиралы, награжден двумя орденами, но тем не менее дни его пребывания на Амуре уже были сочтены. Прибыв на Амур, летом 1865 года, Муравьёв, в качестве главнокомандующего всеми собравшимися здесь вооружёнными силами, назначил Невельского начальником своего штаба, одновременно сообщив последнему об упразднении Амурской экспедиции и создании новой администрации во главе с камчатским губернатором В. С. Завойко. Несмотря на преподнесенную "позолоченную пилюлю" — важный пост, — Невельской великолепно понимал, что это назначение является фактической отставкой. И действительно, когда Муравьёв осенью отбыл через Аян со своей свитой обратно в Иркутск, Невельской остался жить на Амуре в качестве частного лица безо всяких обязанностей, и летом 1856 года с женой и двумя детьми покинул край, в изучение которого вложил свои силы и всю душу.
В начале ноября 1856 года мы видим его уже в С.-Петербурге, где, представляясь незадолго перед тем вступившему на престол Александру III он услышал от него, что Россия никогда не забудет его заслуг. Однако это было совсем не так. Геннадия Ивановича если и вспоминали, то весьма своеобразно. Его травили в печати и в аристократических кругах за якобы лживое утверждение о доступности Амурского лимана для морских кораблей, утверждали, что введенные в устье реки и прибывшие туда из Петропавловска суда не могут выйти оттуда из-за мелководья, за то, что якобы по его вине погиб фрегат «Паллада», взорванный в Императорской Гавани по распоряжению В. С. Завойко и не введенный в Амур из-за того же мелководья. Он боролся, писал, опровергая измышления своих противников, но не мог преодолеть тайных недоброжелателей, когда явные должны были отступить перед фактами, по мере того как флот был выведен в океан, а подлинные причины, почему «Паллада» не была введена в Амур {В этом был виноват Муравьёв; он забрал для следования в Аян единственное из имевшихся в то время в устье Амура паровых судов — шхуну «Восток» и затем, несмотря на обещание прислать ее обратно в Амурский лиман для буксировки по нему «Паллады», послал её на Камчатку. Только поэтому «Паллада» и не была введена в устье Амура.}, - становились общеизвестными. Он был один, а недоброжелателей было много. Его заслуги были слишком очевидны, поэтому, не имея надежды их опровергнуть, о нем старались просто не говорить.
Возникает вопрос, почему же так не любили и держали в чёрном теле Невельского, почему у него было так много недоброжелателей?
Дело тут, понятно, не только в самостоятельности действий и мнений Невельского и оскорбленном самолюбии министров и руководителей Российско-Американской компании, которым он немало причинил неприятностей своими жалобами на их непонимание действительности и ущемление интересов Родины и работников Амурской экспедиции, но, главным образом, в том, что им наглядно была доказана совокупность их ошибок в Амурском вопросе. Таких уроков не могли простить, и этим объясняется травля, поднятая против него по возвращении в С.-Петербург.
Но было и нечто большее, почему правительство неблагосклонно смотрело на Невельского. В этом отношении он разделил судьбу многих замечательных деятелей русского флота, как, например, его современника П. С. Нахимова или жившего позднее адмирала С. О. Макарова. Невельской был слишком мало дипломатом и меньше всего заботился о соблюдении «дипломатических» тонкостей, ставя на первое место интересы дела и науки. Здесь, с точки зрения правительства, он был слишком прямолинеен и потому опасен. Нам кажется, именно в этом и заключается корень последующих неблагоприятных событий, постигших Невельского.
Прошло два года. В 1858 году в Пекине китайским богдоханом был ратифицирован Айгунский трактат, подписанный Н. Н. Муравьёвым и утверждавший за Россией право на владение левым берегом Амура. Невельского не могли не вспомнить. Но в то время как Муравьёв получил большие награды, контр-адмирал Невельской был награжден всего лишь орденом Анны 1-й степени и пенсией в 2 000 рублей. Почти такую же награду получил и председатель Российско-Американской компании генерал Политковский, заслуги которого в разрешении амурской проблемы более, чем сомнительны, поскольку руководимая им Компания только то и делала, что по любому поводу вставляла палки в колеса Невельскому. Таким образом, успешная деятельность Невельского, закончившаяся присоединением к России без единого выстрела огромного края, была оценена наравне с личностями, доставлявшими ему как начальнику экспедиции больше хлопот и неприятностей, чем помощи. Недоброжелательству влиятельных лиц следует приписать забвение бесспорных заслуг Невельского, который имел полное право на иное отношение к себе своих современников. А между тем, если бы инициатива действия на Амуре исходила от одного Муравьёва, как доказывали его панегиристы, то на каком же тогда основании разжалован был в матросы один капитан 1-го ранга Г. И. Невельской, а не генерал-лейтенант Муравьёв, приказания которого в качестве слепого исполнителя его воли должен был выподнять Невельской.
Справедливость требует отметить, что без поддержки и сочувствия Н. Н. Муравьёва Г. И. Невельскому было бы трудно осуществить свои планы. Но бесспорно и то, что сам Муравьёв при всём своём сочувствии к необходимости закрепления за Россией Амура, с одним сочувствием немного бы сделал, когда надо было действовать и действовать решительно перед лицом угрозы безвозвратной потери и захвата края иностранцами. Это бесспорно и произошло бы во время войны 1855 года, если бы здесь не было Невельского, подготовившего своими исследованиями почву для концентрации сил армий и флота в низовьях Амура. Он верно оценил положение и понял, что только быстрота может спасти положение и что легко утраченное едва ли, даже с трудом, сможет быть возвращено. Именно в быстроте действий он видел свой долг перед Родиной, что не было понято многими из его современников. Этой заслуги Невельского никогда не забудет наша Родина, которой он беззаветно служил.
Бросая позднее взгляд в прошлое, Г. И. Невельской писал, что если бы он ограничился одной доставкой груза, вмененной ему в качестве основной задачи при отправке «Байкала» в Петропавловск, если бы, несмотря на ответственность, он не решился бы итти из Петропавловска в Амурский лиман, "то и наши суда в Тихом океане и защитники Петропавловского порта, отбившие с успехом англо-французский флот, и имущество, находившееся в Петропавловске, всё могло стать трофеем неприятеля, а край занят какой-либо иностранной державой". Если этого не произошло, то в том заслуга никого иного, как Г. И. Невельского, своей дальновидностью и настойчивостью в достижении цели предупредившего возможность этих грустных последствий, которых не давал себе труда увидеть близорукий Нессельроде. Если бы низовья Амура уже не были заняты Невельским, у неприятельской эскадры не было бы причины блокировать Амур и тем самым фактически признать в окружающей его территории владения России. Именно на это обстоятельство ссылался потом Н. Н. Муравьёв, ведя в Айгуни переговоры с китайским уполномоченным князем И-Шан об окончательном установлении государственных границ. Из сказанного, вытекает, что, не действуй Невельской столь решительно, край мог бы быть навсегда потерянным для России. Так оценивал результаты саоей деятельности на крайнем Востоке России сам Невельской.