Первые годы Сталина в социалистической организации были временем интенсивных дебатов на тему экономизма и других вопросов. В грузинской организации Сталин всегда выступал против оппортунистов и примыкал к левому крылу. Когда родилась «Искра», группа Сталина была первой, кто стал её энергичным сторонником и распространителем в Тифлисе. В сентябре 1901 года начинается издание подпольной газеты на грузинском языке под названием «Брдзола» («Борьба»). Сталин, один из её главных авторов, в многочисленных статьях поддерживает линию «Искры». Особое значение имела подробная статья «Российская социал-демократическая партия и её ближайшие задачи», вышедшая в декабре 1901 года.
В ноябре 1901 года Сталин был избран в социал-демократический комитет Тифлиса, который служил эффективным руководящим органом для всего Кавказа. Его отправляют в Батуми, небольшой городок с населением в 25 тысяч, новообразованный центр нефтяной промышленности, связанный нефтепроводом с более крупным и старым Баку. Под прикрытием празднования Нового года Сталин создаёт городской комитет партии. В одноместной комнате, где он остановился, хранится революционная пресса. Было выпущено много листовок, что приводило к волнениям среди рабочих; в ходе одного из таких выступлений полиция применила оружие, убив пятнадцать рабочих. Все эти мероприятия проводились, несмотря на противодействие со стороны местных социалистов, позже ставших меньшевиками. Проведя в Батуми всего четыре с половиной месяца, Сталин был арестован в апреле 1902 года на секретном совещании Батумского комитета, но подпольную прессу не обнаружили. В свой батумский период он получает один из своих многочисленных партийных псевдонимов, под которым он становится известен на протяжении многих лет своей работе на Кавказе. Псевдоним «Ко́ба» в переводе с турецкого означает «неукротимый» или «непобедимый», также он был именем народного героя одного из любимых стихотворений Сталина времён его юности.
Сталин провёл в тюрьмах полтора года. Там он поддерживал строгую дисциплину, вставал рано, много работал, много читал, был одним из главных спорщиков в тюремной общине. Он был также известен как внимательный, чуткий и полезный товарищ. После заключения, в ноябре 1903 года, несмотря на отсутствие доказательств вины, его сослали в Восточную Сибирь. Находясь в тюрьме, в марте 1903 года он был избран в состав Исполнительного комитета новообразованной Кавказской федерации социал-демократических организаций. Избрание заключённого товарища в комитет было весьма редким событием, что даёт представление о важности Сталина в кавказской организации. Ссылка Сталина в Сибирь совпала с подготовкой к русско-японской войне. Сталин и его товарищи воспользовались сумятицей и сбежали почти сразу по прибытии в Сибирь. К концу января 1904 году он возвращается в Тифлис.
По возвращении Сталин должен был определиться по ряду вопросов, которые привели к расколу на большевиков и меньшевиков. Большинство социалистов на Кавказе были меньшевиками и даже многие из местных большевиков склонялись к компромиссу. Несмотря на значительное преобладание меньшевиков, Сталин довольно быстро принял позицию Ленина и большевиков. В грузинской партийной печати он энергично поддерживал большевистскую линию. В своей первой статье он писал, что партия — это «боевая группа вождей», что она должна стать «централизованной спаянной организацией». Твёрдая политическая позиция свела Сталина с Лениным, который из-за рубежа попросил копии его статей. Наряду с идеологической борьбой против меньшевиков, Сталин одновременно был плотно вовлечён в революционную борьбу, развернувшуюся по всей стране в связи с революцией 1905 года. Центром такой борьбы для Сталина стал Кавказ.
Помимо участия в организации рабочих стачек, Сталин сразу же начал практическую реализацию призыва большевиков к подготовке вооружённого восстания. Он становится главным организатором, вдохновителем и руководителем боевой организации на Кавказе. Создаётся эффективная тайная лаборатория по изготовлению взрывчатки. Собираются закалённые борьбой боевые отряды. Они участвуют в многочисленных восстаниях, нападениях на наёмников правящего класса, контактируют с крестьянскими бунтарями. В последующий период спада революции, когда партия столкнулась с серьёзной нехваткой средств, некоторые из лучших боевых дружин были использованы для крупных и дерзких денежных экспроприаций. Сталин сыграл главную роль в создании и руководстве чрезвычайно законспирированной «Технической группы». Пишет статьи, разъясняющие марксистский подход к восстанию.