Дорога делалась все хуже и хуже. Путники выбились из сил и решили заночевать в маленькой деревушке, где и поставили палатку. Елизавета Кондратьевна вызывала у местных жителей всеобщее любопытство, ведь здесь еще не видели ни одной европейской женщины. Наутро двинулись дальше. По пути встречались стены, сложенные из простых камней с выбитыми на них священными изречениями буддистов. По шатким бамбуковым мосткам приходилось перебираться через головокружительные пропасти.
Наконец с большими трудностями добрались до горного монастыря Пемаянизе, недавно отстроенного заново после пожара. Монахи встретили путников не очень-то приветливо, но не препятствовали осмотру монастырских построек, украшенных аляповатой росписью. Монастырь был не только самым старым в этой местности, но и старейшим по иерархии. В нем пребывало много монахов и учеников-послушников.
Не дождавшись носильщиков, отставших где-то позади, Верещагины расположились на ночлег под открытым небом у костра. Ламы прислали путешественникам чай, вернее, смесь чая с молоком, маслом и солью и мурвар — просяное пиво. Положив седла под головы, путешественники заснули.
Носильщики прибыли только на следующий день после полудня. Верещагин отослал самых слабосильных из них домой, а часть вещей оставил до возвращения с гор в монастыре. В речную долину спустились еще на лошадях, там оставили их с конюхом, а сами двинулись далее пешком. После деревни Яксун начинался подъем на гору Канчингу. Населенных пунктов уже не было. Лишь в летнее время на склоны гор поднимались пастухи со стадами баранов.
Еще в Дарджилинге путешественников предупреждали об опасности восхождения в это время года (в январе) на Канчингу, так как здесь случаются большие снежные заносы. Но Верещагин пренебрег этими предостережениями. Трудности восхождения описала путешественница: «Снегу выпало столько, что пришлось надеть наши тяжелые длинные сапоги. Что далее, то пустыннее и молчаливее становилось кругом и тем глубже лежал снег. Местами его было уже по колено.
С нами был только охотник, таскавший ружье, и кули Карсынь, несший ящик с красками; все остальные остались порядочно далеко позади. Мы скользили и падали так часто, что уже не помогала палка, за которую тащил меня охотник, тогда он взял и потащил меня за руку».
Встретились следы яка. Было видно, где его пушистый хвост волочился по снегу. Путешественники были на высоте около четырех тысяч двухсот метров, когда Василий Васильевич совсем выбился из сил и объявил, что не может идти дальше. Попытались разжечь костер, но отсыревшие спички не горели. Тогда охотник выстрелил с близкого расстояния в тряпку — она задымилась, и это дало возможность развести огонь. Вскоре запылал и костер. Топливом послужили прутья кустарника.
Отдохнув и обогревшись, путешественники направились к находившейся неподалеку пастушьей хижине. Идти пришлось по отполированному ветром льду, присыпанному снегом, поэтому всю дорогу скользили и падали, пока Елизавета Кондратьевна не оказалась в обморочном состоянии. Как только она пришла в себя, решили возвратиться к огню. Верещагин послал охотника поторопить носильщиков или хотя бы принести теплое одеяло и ящик с провизией. Охотник ушел и пропал. Положение путешественников осложнилось. Пронизывающий холод заставлял жаться к огню, так что с одного бока одежда начинала дымиться от жара, а с другого — покрывалась ледяной коркой.
Холод становился все более нестерпимым. Кое-как Верещагин уговорил последнего оставшегося кули отправиться навстречу носильщикам. Кули сначала наотрез отказался. Но обещание щедрого вознаграждения, которого хватило бы и на выпивку, сделало его податливее. Он удалился и тоже не вернулся. Верещагины остались одни среди мертвой и безмолвной снежной пустыни.
Никто не явился и к утру, когда мороз усилился, Василий Васильевич пытался звать и стрелять из ружья, но никто не откликнулся. Возникли всякие предположения. Наиболее вероятным было такое: посчитав путешественников замерзшими, носильщики ушли.
Приближался вечер. Верещагину едва удавалось поддерживать огонь сырыми прутьями. Давал себя знать и голод. Наконец художник, собрав последние силы, решился идти на розыск людей. Впоследствии он признался, что, прощаясь с женой, он не рассчитывал больше найти ее живой. Силы его были на исходе, через каждые десять — двадцать шагов Верещагин останавливался, чтобы перевести дух. Костер потух, и Елизавета Кондратьевна почти замерзла. Но вот послышались чьи-то шаги. Это приближался кули с провизией и теплыми вещами. А вскоре возвратился и Василий Васильевич, но не на своих ногах, а на спине другого кули. Он ушел от костра не более чем на версту, постоянно останавливаясь и садясь в снег, пока не встретил носильщиков.