Но, вопреки ожиданиям, льды неумолимо несли шхуну в северном направлении, и летом 1913 г. «Святая Анна» достигла широты 78° с. Лед вокруг судна был слабым со множеством каналов и полыней. Освободиться из ледового плена и выйти в Баренцево море не составило бы труда, если бы на шхуне имелся хоть небольшой запас динамита. Но, кроме черного пороха, взрывчатых веществ на «Святой Анне» не оказалось, а пробить канал во льду при помощи пороха команде не удалось. Началась вторая зимовка во льдах. К весне 1914 г. судно обогнуло с севера Землю Франца-Иосифа и продолжило медленно двигаться в северо-западном направлении. При удачном стечении обстоятельств «Святая Анна», двигаясь вместе со льдами на запад, могла достичь северных берегов Гренландии не раньше, чем летом 1915 г.
Уже во время первой зимовки в 1912-13 г. многие участники экспедиции, в том числе и Брусилов, начали болеть. Несмотря на удачную охоту на тюленей и белых медведей, ко времени второй зимовки 1913-14 г. стала ощущаться нехватка многих продуктов и топлива.
Не все было благополучно и во взаимоотношениях между членами экипажа. Тяжелые условия зимовок во время полярной ночи, неопределенность положения и болезни подавляюще действовали на большинство участников экспедиции. Крупная размолвка произошла между Брусиловым и Альбановым осенью 1913 г., и с этого времени их отношения оставались натянутыми. 22 сентября в судовом журнале появилась запись, сделанная Брусиловым: «Отставлен от своих обязанностей штурман».
22 января 1914 г. Альбанов обратился к Брусилову с просьбой дать ему материал для постройки каяков и саней, чтобы весной уйти с судна на Землю Франца-Иосифа, до которой было около ста километров. Несколько человек из команды решили идти вместе со штурманом. Брусилов не возражал против ухода части экипажа, так как это позволяло растянуть оставшиеся на судне запасы продовольствия и топлива до 1915 г.
К началу апреля группа Альбанова из запасных парусов и кусков судового дерева изготовила семь нарт и каяков, конструкция которых, как показали последующие события, была крайне несовершенной. Были подготовлены теплая одежда, палатка, кухня, оружие, собран запас продовольствия в расчете на два месяца пути (основу продовольствия составляли сухари — около 500 кг, 82 % от всего запаса провизии). Для улучшения питания планировалось в пути заниматься охотой на тюленей и медведей.
23 апреля 1914 г. 13 человек под руководством Альбанова покинули «Святую Анну», находящуюся на 82° 55,5' с. ш., 60° 45' в. д. Прощаясь с уходящими, Брусилов передал штурману жестяную банку, в которой находились особый пакет на имя начальника Гидрографического управления и выписка из судового журнала экспедиции.
Благодаря тому, что эти документы были переданы Альбановым по назначению, история экспедиции Г. Л. Брусилова с момента выхода «Святой Анны» из Петербурга и до апреля 1914 г., когда группа Альбанова покинула судно, стала широко известна. На основе данных судового журнала была построена карта дрейфа «Святой Анны», проходившего по совершенно не исследованным в те времена районам Северного Ледовитого океана.
Через десять дней три человека из команды Альбанова вернулись обратно на шхуну. Таким образом, на «Святой Анне» осталось 13 человек — сам Г. Брусилов, Е. Жданко, гарпунеры В. Шленский и М. Денисов, боцман И. Потапов, матросы Г. Анисимов, Г. Мельбард и И. Параприц, машинист Я. Фрейберг, повар И. Калмыков и вернувшиеся матросы И. Пономарев, М. Шабатура и А. Шахнин. Их судьба и судьба судна не известны до сих пор.
Группа Альбанова из 11 человек продолжила путь. В состав группы входили матросы А. Конрад, Е. Шпаковский, О. Нильсен, И. Луняев, П. Баев, П. Смиренников и А. Архиреев, стюард Я. Регальд, старший рулевой П. Максимов и кочегар В. Губанов. Ни у кого из них не было опыта участия в подобных экспедициях, а снаряжение группы было крайне неудовлетворительным. Поэтому не удивительно, что девять человек из одиннадцати погибли или пропали без вести на этом трудном пути, и лишь двоим удалось вернуться на Родину.
О трагических событиях апреля — июля 1914 года известно только со слов В. И. Альбанова. В конце 1917 г. в Петрограде в виде приложения к журналу «Записки по гидрографии» вышла книга В. Альбанова «На юг, к Земле Франца-Иосифа!», написанная на основе его дневниковых записей, сделанных во время похода. Сокращенный вариант книги (Н. В. Пинегин. «70 дней борьбы за жизнь. По дневнику участника экспедиции Брусилова — штурмана Альбанова») был издан Северным издательством в Архангельске в 1932 и 1933 гг. В 1934 г. Всесоюзный арктический институт выпустил в свет книгу «Затерянные во льдах» с предисловием Н. В. Пинегина, в которой, кроме записок Альбанова, были опубликованы выписка из судового журнала, последнее письмо Брусилова и редкие фотографии. Впоследствии книга Альбанова неоднократно переиздавалась под разными названиями как в России, так и за рубежом.