Возникает вопрос, почему же так не любили и держали в чёрном теле Невельского, почему у него было так много недоброжелателей?
Дело тут, понятно, не только в самостоятельности действий и мнений Невельского и оскорбленном самолюбии министров и руководителей Российско-Американской компании, которым он немало причинил неприятностей своими жалобами на их непонимание действительности и ущемление интересов Родины и работников Амурской экспедиции, но, главным образом, в том, что им наглядно была доказана совокупность их ошибок в Амурском вопросе. Таких уроков не могли простить, и этим объясняется травля, поднятая против него по возвращении в С.-Петербург.
Но было и нечто большее, почему правительство неблагосклонно смотрело на Невельского. В этом отношении он разделил судьбу многих замечательных деятелей русского флота, как, например, его современника П. С. Нахимова или жившего позднее адмирала С. О. Макарова. Невельской был слишком мало дипломатом и меньше всего заботился о соблюдении "дипломатических" тонкостей, ставя на первое место интересы дела и науки. Здесь, с точки зрения правительства, он был слишком прямолинеен и потому опасен. Нам кажется, именно в этом и заключается корень последующих неблагоприятных событий, постигших Невельского.
Прошло два года. В 1858 году в Пекине китайским богдоханом был ратифицирован Айгунский трактат, подписанный Н. Н. Муравьёвым и утверждавший за Россией право на владение левым берегом Амура. Невельского не могли не вспомнить. Но в то время как Муравьёв получил большие награды, контр-адмирал Невельской был награжден всего лишь орденом Анны 1-й степени и пенсией в 2 000 рублей. Почти такую же награду получил и председатель Российско-Американской компании генерал Политковский, заслуги которого в разрешении амурской проблемы более, чем сомнительны, поскольку руководимая им Компания только то и делала, что по любому поводу вставляла палки в колеса Невельскому. Таким образом, успешная деятельность Невельского, закончившаяся присоединением к России без единого выстрела огромного края, была оценена наравне с личностями, доставлявшими ему как начальнику экспедиции больше хлопот и неприятностей, чем помощи. Недоброжелательству влиятельных лиц следует приписать забвение бесспорных заслуг Невельского, который имел полное право на иное отношение к себе своих современников. А между тем, если бы инициатива действия на Амуре исходила от одного Муравьёва, как доказывали его панегиристы, то на каком же тогда основании разжалован был в матросы один капитан 1-го ранга Г. И. Невельской, а не генерал-лейтенант Муравьёв, приказания которого в качестве слепого исполнителя его воли должен был выподнять Невельской.
Справедливость требует отметить, что без поддержки и сочувствия Н. Н. Муравьёва Г. И. Невельскому было бы трудно осуществить свои планы. Но бесспорно и то, что сам Муравьёв при всём своём сочувствии к необходимости закрепления за Россией Амура, с одним сочувствием немного бы сделал, когда надо было действовать и действовать решительно перед лицом угрозы безвозвратной потери и захвата края иностранцами. Это бесспорно и произошло бы во время войны 1855 года, если бы здесь не было Невельского, подготовившего своими исследованиями почву для концентрации сил армий и флота в низовьях Амура. Он верно оценил положение и понял, что только быстрота может спасти положение и что легко утраченное едва ли, даже с трудом, сможет быть возвращено. Именно в быстроте действий он видел свой долг перед Родиной, что не было понято многими из его современников. Этой заслуги Невельского никогда не забудет наша Родина, которой он беззаветно служил.
Бросая позднее взгляд в прошлое, Г. И. Невельской писал, что если бы он ограничился одной доставкой груза, вмененной ему в качестве основной задачи при отправке "Байкала" в Петропавловск, если бы, несмотря на ответственность, он не решился бы итти из Петропавловска в Амурский лиман, "то и наши суда в Тихом океане и защитники Петропавловского порта, отбившие с успехом англо-французский флот, и имущество, находившееся в Петропавловске, всё могло стать трофеем неприятеля, а край занят какой-либо иностранной державой". Если этого не произошло, то в том заслуга никого иного, как Г. И. Невельского, своей дальновидностью и настойчивостью в достижении цели предупредившего возможность этих грустных последствий, которых не давал себе труда увидеть близорукий Нессельроде. Если бы низовья Амура уже не были заняты Невельским, у неприятельской эскадры не было бы причины блокировать Амур и тем самым фактически признать в окружающей его территории владения России. Именно на это обстоятельство ссылался потом Н. Н. Муравьёв, ведя в Айгуни переговоры с китайским уполномоченным князем И-Шан об окончательном установлении государственных границ. Из сказанного, вытекает, что, не действуй Невельской столь решительно, край мог бы быть навсегда потерянным для России. Так оценивал результаты саоей деятельности на крайнем Востоке России сам Невельской.
Не желая, чтобы голоса его критиков и недоброжелателей и нападки их на деятельность руководимой им Амурской экспедиции остались без ответа, Г. И. Невельской предпринял работу по составлению своих записок и в заключительных строках писал, что как начальник её он счел своей священной обязанностью в интересах истины изложить вое события с фактической точностью в последовательном порядке.
Последние 20 лет жизни деятельность Г. И. Невельского протекала в С.-Петербурге. Он был произведен в вице-адмиралы, a, с 1 января 1874 года в полные адмиралы. Работал он в Ученом отделе Морского технического комитета, куда, по циничному, выражению министра Н. К. Краббе, назначали или уже "полуживых или малодеятельных". Г. И. Невельской не принадлежал ни к числу первых, ни тем, более ко вторым. Назначение его в Комитет было для молодого в то время адмирала (ему было 46 лет) почетной ссылкой, назначенной правительством за самостоятельность действий и мнений. Его никогда больше: не отпускали в плавание; рожденный для моря, его родной стихии, он до конца своих дней не посетил палубы корабля. Умер Г. И. Невельской совсем не старым, в возрасте 63 лет, 17(29) апреля 1876 года.