Все это, разумеется, не могло не сказаться на и без того скверном настроении людей. За столом в кают-компании не было больше прежнего непринужденного веселья, не слышались шутки. Зато все чаще вспыхивали мелкие ссоры, люди становились все угрюмее и раздражительнее.
А тут еще, в довершение всех бед, между Брусиловым и Альбановым словно кошка пробежала. Они не взлюбили друг друга и старались это скрыть. Между ними постоянно происходили словесные стычки. Почему возникла эта вражда, также остается загадкой.
Сам Альбанов писал позже об этом так: «Мне представляется, что мы оба были нервнобольными людьми. Неудачи с самого начала экспедиции, повальные болезни зимы 1912–1913 года, тяжелое настоящее и грозное неизвестное будущее с неизбежным голодом впереди, все это, конечно, создало… обстановку нервного заболевания».
Срывы и нервозность со стороны Брусилова можно объяснить еще и тем, что экспедиция потерпела крах. Ведь судно-то было не его собственностью, как это значилось в документах, а принадлежало, в сущности, дяде Георгия Борису Алексеевичу Брусилову и его жене Анне Николаевне — шхуна была названа ее именем (раньше она называлась «Пандора»), которые вложили в экспедицию львиную долю средств. И теперь все мысли лейтенанта были заняты одним: как он рассчитается с Борисом Алексеевичем и Анной Николаевной. За экспедицию-то отвечал он…
Но бытует и другое мнение: вражда между капитаном корабля и его штурманом возникла из-за Ерминии Жданко, в которую якобы был влюблен не только Брусилов, но еще и Альбанов. Такая версия небеспочвенная: очень уж часто отзывается Альбанов об этой девушке в своем дневнике с восхищением и симпатией.
Кончилось тем, что Брусилов отстранил Альбанова от должности штурмана, а Альбанов, в свою очередь, заявил, что он покидает судно. Он решил пробираться к материку пешком по льдам. Сопровождать экс-штурмана вызвалось сразу 13 человек. Брусилов не возражал. Он был даже рад такому повороту событий: провианта оставалось совсем мало, и на третью зимовку на всех его не хватило бы. Сам же Брусилов заявил, что ни при каких обстоятельствах судна не оставит. Его примеру последовала Жданко.
Перед уходом Альбанова Брусилов вручил ему два пакета: один — с письмами оставшихся на судне членов экипажа своим родственникам, другой — с копией судового журнала и научными материалами для начальника Гидрографического управления — все это время Брусилов не переставал заниматься гидрографическими исследованиями. Оба пакета были запаяны в жестяной банке.
В середине апреля 1914 года, когда «Св. Анна» находилась в 160 километрах севернее Земли Франца-Иосифа, Альбанов и еще 13 человек покинули шхуну. Трое из спутников Альбанова через несколько дней, испугавшись трудного пути, вернулись назад на судно.
С этого времени о «Св. Анне» и оставшихся на ней людях неизвестно ничего. Они словно канули в безвестность. Об их дальнейшей судьбе остается лишь строить догадки. Но об этом чуть позже.
Поход Альбанова по дрейфующим льдам к Земле Франца-Иосифа с полным правом можно назвать подвигом. Он сродни знаменитым гренландским походам Фритьофа Нансена и Роберта Пири. К тому же, не решись Альбанов на этот отчаянный шаг, мы не узнали бы об экспедиции на «Св. Анне» и того, что знаем. Вместе с тем, похоже, что Альбанов сделал все для того, чтобы мир узнал о том, что происходило на шхуне, как можно меньше. Но и об этом тоже речь впереди.
Продвигался Альбанов в неимоверно трудных условиях. Уже в начале пути его люди начали роптать на то, что штурман вовлек их в авантюру. Они надеялись, что через неделю-другую доберутся до суши, а оказалось, что идти придется несколько месяцев. И не просто идти, а тащить за собой тяжелые сани с вещами, продуктами и каяками, необходимыми для преодоления разводьев между льдинами. Смертельно уставшие, люди не раз грозились бросить сани, обрекая себя на верную гибель. Больше других проявлял недовольство матрос Александр Конрад. В конце концов 30 июня он и еще один матрос, выкрав у своих товарищей побольше продуктов, теплые вещи, оружие, единственный бинокль и жестянку с письмами и документами (?!), ночью сбежали. На что они рассчитывали, не имея ни каяка, ни карты и не умея ориентироваться по звездам, один бог ведает.
Беглецы, однако, далеко не ушли. 8 июля группа Альбанова, добравшись до Земли Александры, одного из островов архипелага Земли Франца-Иосифа, настигла там Конрада и его напарника. Зная, как карается предательство, оба на коленях молили о пощаде. Неожиданно для всех Альбанов простил их. Почта осталась нетронутой.