Следующим летом льды на время освободили «Виктори», но через «три мили (5 км) надежды» лед снова закрылся, словно поймал корабль в ловушку очередной зимы.
В 1830 г. молодой племянник Росса, командор Джеймс Кларк Росс, возглавил санный поход на запад. Достигнув самой дальней точки, он назвал ее Виктори Пойнт. Не подозревая, что он уже пересек покрытый льдом пролив во время своего пути, Росс назвал всю прилежащую территорию Землей Короля Вильяма. На самом же деле это был остров. Джеймс Росс также отметил, что скопление торосов у северо-западного побережья — это «самые огромные массы льда, которые я когда-либо видел». Этот санный поход был величайшим подвигом моряков.
Тем не менее самым главным его достижением стало последовавшее открытие Северного магнитного полюса, который, по словам Росса, «природа выбрала как центр одной из ее великих и темных сил». Благодаря этому открытию экспедиция могла бы закончиться триумфально. «Ничего больше нам не оставалось, как вернуться домой и счастливо провести оставшиеся дни», — писал Росс-младший. Но летом 1831-го «Виктори» смогла пройти только 4 мили (6,5 км) прохода, и лед снова встал перед ними непреодолимым барьером.
«Для нас, — сообщал Джон Росс — сам вид льда был чумой, досадой, мучением, злом, причиной отчаяния». Глубина этого уныния и тяжкие сомнения проявляются и в записях его дневника: «Я признаю, что Провидение сейчас против нас, как никогда». Он столкнулся с дилеммой: рисковать в ожидании следующей весны в надежде, что летом лед наконец высвободит «Виктори», что казалось маловероятным, или покинуть корабль и преодолеть 300 миль (480 км) по суше на север, пока снежный покров позволяет проехать саням. Росс выбрал последнее. Его целью был Фьюри Бич на острове Сомерсет, где находились запасы провизии, оставленные несколько лет назад экспедицией Парри. Кроме того, он рассчитывал найти там открытую воду. В этом случае, полагал Росс, он мог бы воспользоваться шлюпками с корабля, чтобы сделать бросок до Баффинова залива и там встретить летние китобойные судна.
Сани были устроены таким образом, что на них легко устанавливались небольшие лодки, нагруженные продуктами, а капитан распорядился, чтобы на всем пути следования моряки устраивали склады провизии.
29 мая 1832 года экспедиция покинула «Виктори» и при минусовой температуре, взяв с собой всего две трети обычного запаса продуктов, двинулась на север. Но на Фьюри Бич их надежды увидеть открытую воду так и не оправдались, и экипаж был вынужден в четвертый раз зимовать в Арктике. Они обосновались в наспех сооруженной хижине из дерева и снега. Такое жилище было немногим лучше, чем иглу, хотя Росс и дал ему высокопарное название «дом Сомерсет», жестко разграничив зоны проживания по рангам. Это был разделенный на части снежный дом.
В одной части дома простые матросы в своих меховых одеждах теснились на крохотном пространстве, проклиная судьбу, а другая была поделена на квартиры для офицеров, где Джону Россу продолжали прислуживать, как аристократу, образу которого он всегда стремился соответствовать. А сам он тем временем мрачно размышлял о том, «удастся ли кому-нибудь здесь пережить еще один такой год, как три предыдущих». Но он держал язык за стиснутыми зубами, и не только из-за холода.
Продуктов не хватало, что усугубляло отчаянное положение. Росс распорядился сократить рацион наполовину, но и теперь он состоял в основном из консервированного мяса, репы и морковного супа из запасов, оставленных Парри. Из свежего мяса экипажу приходилось довольствоваться лишь мясом песцов, реже зайцев, пойманных ловушками. По воскресеньям подавали жаркое из песца. Судовой врач заявлял об ухудшающемся здоровье экипажа: «у нас слишком мало животной пищи… Внезапная вспышка тяжелой формы цинги усиливает наше бедственное положение и показывает, насколько неэффективны в борьбе с ней [консервированные] овощи…». Он писал: «Пока мы жили на запасах „Фьюри“, болезнь проявила себя в самой страшной форме». Судовой плотник умер от цинги в феврале 1833 г. Джон Росс тоже почувствовал симптомы этой страшной болезни: давно зажившие старые раны вновь начали открываться, будто зарубцевавшаяся ткань растворилась. Капитан с горечью писал: «Вероятно, я не справляюсь со сложившимися обстоятельствами».
Однако он выдержал. Когда поздним летом, 15 августа 1833 г., показалась полоска открытой воды, его люди, поймав попутный ветер, направили туда свои лодки. «Практически забыв, что это такое — плыть по свободной воде», они за два дня прошли 72 мили (116 км). Их лодки петляли среди айсбергов, подгоняемые ветром, как вдруг все стихло — первый раз за все это время. После девяти мучительных дней медленного движения на восток, они наконец заметили вдалеке парус. Люди отчаянно стали грести к спасительному судну, но ветер вскоре подул вновь, и корабль, так и не заметив терпящих бедствие, уплыл на юго-восток. Вскоре появился еще один парус, но и это судно также двигалось по ветру, и догнать его было невозможно. Джон Росс записал: «это был самый волнительный момент, который мы когда-либо переживали. Ужасно осознавать, что мы были поблизости по крайней мере от двух кораблей, и каждый из них мог положить конец всем нашим страхам и страданиям, а мы так не смогли добраться ни до одного из них».