В конце 1914 года он выехал на корабле «Эндьюренс» в Антарктику, но путешествие его было очень неудачным. Корабль был захвачен пловучими льдами у входа в море Ведделя и все ледяное поле вокруг него превратилось в одну гигантскую льдину, которая уносилась вместе с кораблем. В течение нескольких месяцев путешественники не имели ни единой минуты покоя. Лед трещал, ломался, и огромные льдины громоздились одна на другую. На пароходе показалась течь, так что приходилось все время откачивать воду. Шекльтон велел перенести на лед лодки, сани и запас провизии. Эта мера была принята как раз вовремя, так как корабль на следующий же день был раздавлен льдами.
Гибель судна поставила экспедицию в ужасное положение. Путешественники находились на расстоянии более чем в 2.000 километров от ближайшего порта Южной Америки, и у них не было ничего, кроме трех лодок. Шекльтон сначала решил добраться до островка Поле, который, по его расчету, должен был находиться на расстоянии 600 километров. На этом острове ничего не было, кроме большой колонии пингвинов, но это могло спасти их от голодной смерти. Но этот план не удалось осуществить, так как путешествовать по ледяному полю, таща на себе груз и лодки, оказалось невозможным, потому что лед был страшно неровным и, пройдя только два километра, люди совершенно выбились из сил. Решено было остаться на льдине и ждать, куда ее принесет течением.
Между тем началось полярное лето. Путешественникам необходимо было добраться до твердой земли до наступления зимы, но и вторичная попытка путешествия по льдине оказалась не более удачной, чем первая. Оставалась только единственная надежда, что льдину донесет до открытого моря. Но льдина двигалась очень медленно и положение с каждым днем становилось все более и более критическими. Антарктическое лето подходило к концу. В марте снова начались морозы и вьюги, и к этому времени запасы провизии сильно уменьшились, а охота на тюленей почти прекратилась. Путешественники постепенно съели всех своих собак и вскоре сильно сократили порции. Будущее казалось уже совершенно безнадежным и спасения не было. Но вдруг движение льда стало более быстрым, и вскоре показался сначала один, потом другой остров. Путешественники погрузили на лодки самые необходимые вещи и пустились в море, рискуя ежеминутно быть раздавленными льдинами. Но поднялась сильная буря, и они снова были вынуждены высадиться на большой льдине, добравшись до нее с величайшими усилиями. Наконец, буря стихла, и они опять спустились в море. В течение целых 36 часов они беспрерывно гребли и почти выбивались из сил, чтобы достигнуть острова, но течение постоянно отбрасывало их в открытое море, а в довершение беды ночью сделался сильный мороз и снова поднялась буря.
Убедившись в полной невозможности достигнуть одного из шотландских островов, где норвежские китоловы устроили свою станцию. Шекльтон решил направиться к Слоновому острову. Однако, ветер все же замедлял движение, и лодки относило прочь от берега, который казался несчастным путешественникам «обетованной землей». К вечеру опять разразилась буря. Брызги воды, падая на лодки, замерзали и покрывали все ледяной корой, которую приходилось сбивать чуть ли не ежеминутно, чтобы не допустить лодки погрузиться в море под тяжестью этой коры. С величайшими трудностями и совершенно измученные, они приблизились, наконец, к берегу, но нигде не было видно ни одной бухты, и всюду возвышались только зубчатые горные утесы, покрытые снегом и льдом. После долгих поисков, они отыскали, наконец, небольшой клочок низкого берега, но его заливало водой во время прилива и пришлось перебираться в другое место. Припасов оставалось всего только на пять недель и при самой большой экономии, а между тем приближалась зима, и китоловы уж, несомненно, давно покинули все эти места. Они могли вернуться сюда только через год, и, следовательно, в ближайшем будущем путешественникам грозила голодная смерть.
Тогда Шекльтон решился на отчаянное средство; с пятью товарищами он отправился в лодке, через океан, в Южную Георгию, где существовали постоянные станции норвежских китоловов, рассчитывая, что там он найдет какое-нибудь судно, на котором он сможет вернуться на Слоновый остров за оставшимися товарищами.
Это было в высшей степени рискованное предприятие, так как Слоновый остров находится на расстоянии 1.400 километров от острова Южная Георгия, и это огромное расстояние надо было переплыть на небольшой лодке, под веслами. Но ни Шекльтона, ни его товарищей мысль об опасности не могла остановить, и они немедля пустились в плавание.