23 ноября 1902 года Джугашвили обратился с «нижайшим прошением» к главноуправляющему гражданской частью на Кавказе князю Г.С. Голицыну: «Все усиливающийся удушливый кашель и беспомощное положение состарившейся матери моей, оставленной мужем вот уже 12 лет и видящей во мне единственную опору в жизни, заставляет меня… обратиться к Канцелярии главноначальствующего с нижайшей просьбой освобождения из-под ареста под надзор полиции. Умоляю Канцелярию главноначальствующего не оставить меня без внимания и ответить на мое прошение». Просьба была оставлена без ответа, хотя об освобождении также просила мать узника.
Джугашвили оставался в батумской тюрьме вплоть до 19 апреля 1903 года, когда его перевели в кутаисскую тюрьму. Это стало следствием организованной им демонстрации заключенных против экзарха Грузии, посетившего батумскую тюрьму двумя днями ранее.
В кутаисской тюрьме Сталин встретился с социал-демократом Григорием Уратадзе, который впоследствии вспоминал: «На вид он был невзрачный, оспой изрытое лицо делало его вид не особенно опрятным… Все портреты, которые я видел после того, как он стал диктатором, абсолютно не похожи на того Кобу, которого я видел в тюрьме в первый раз, и на того Сталина, которого я знал в продолжении многих лет потом. В тюрьме он носил бороду, длинные волосы, причесанные назад. Походка вкрадчивая, маленькими шагами. Он никогда не смеялся полным открытым ртом, а улыбался только. И размер улыбки зависел от размера эмоции, вызванной в нем тем или иным происшествием… Был совершенно невозмутим. Мы прожили вместе в кутаисской тюрьме более чем полгода, и я ни разу не видел его, чтобы он возмущался, выходил из себя, сердился, кричал, ругался, словом, проявлял себя в ином аспекте, чем в совершенном спокойствии. И голос его в точности соответствовал его «ледяному характеру», каким его считали близко его знавшие».
В описании, данном Уратадзе, позднее ставшим противником Сталиным, легко заметить черты характера, которые идеально подходят для политика, полагающегося в достижении своих целей на интригу. Сталин прекрасно умел хранить в тайне от окружающих свои подлинные чувства, усыплять бдительность будущих жертв и сохранять невозмутимость в самых критических ситуациях.
По представлению министерства юстиции, в июле 1903 года Джугашвили был определен трехлетний срок административной ссылки в Иркутскую губернию. Однако тут возникла пикантная ситуация. Поскольку о переводе арестанта в кутаисскую тюрьму не было извещено Главное тюремное управление, там продолжали считать, что Джугашвили находится в батумской тюрьме и, не обнаружив его там, решили, что он был выпущен под надзор полиции, и даже объявили его в розыск. Только 4 сентября выяснилось, что Джугашвили пребывает в кутаисской тюрьме. Здесь он 28 июля успел организовать бунт заключенных. Они требовали прекратить издевательства со стороны стражников, устроить в камерах нары (спать приходилось на цементном полу), предоставлять баню дважды в месяц и не допускать грубого обращения с узниками. В знак протеста заключенные стали бить по железным воротам тюрьмы. Гулкие удары всполошили весь Кутаис. Требования были удовлетворены, но после этого всех политических поместили в отдельную камеру – чтобы не смущали тюремный люд.
В начале октября Джугашвили отправили обратно в Батум, а в ноябре с этапом – к месту ссылки через Новороссийск, Ростов-на-Дону, Самару и Челябинск. До Новороссийска ссыльных везли пароходом, а оттуда – поездом, в арестантском вагоне. Так Иосиф впервые увидел российские просторы – Поволжье, Урал. Товарищи снабдили Джугашвили деньгами на дорогу и провизией. Только в Батуме он получил 10 рублей. Еще какая-то сумма денег была выслана в Ростов. Уже на Урале ссыльных встретила суровая зима, а в Сибири морозы доходили до 30 градусов. Для выросших в субтропиках грузин это была настоящая трагедия.
Местом ссылки Джугашвили было определено селение Новая Уда, находившееся в 70 верстах от уездного центра Балаганска и в 120 верстах от ближайшей железнодорожной станции Тыреть. Иосиф не собирался задерживаться в этой глухомани. Обстоятельства его побега темны и не прояснены по сей день. Неизвестно также, один раз или дважды бежал Сталин из Новой Уды. Успешный побег датируют 5 января 1904 года, неуспешный (если он был) – ноябрем или декабрем 1903 года.