Новая жизнь для Сосо началась с того, что после исключения из семинарии он остался без работы и на короткое время вернулся в родительский дом в Гори. В декабре 1899 г. Сосо получил работу и служебную квартиру в Тифлисской физической обсерватории. Имея время и работу для прикрытия, он посвятил себя нелегальной деятельности.
В конце 1898 г. и весной 1899 г. Джугашвили регулярно принимает участие в сходках читательского социалистического кружка «Месаме-даси». Членами кружка являлись рабочие железнодорожных мастерских. В то время он якобы подготовил учебную программу для марксистских рабочих кружков. Однако текст ее не сохранился. Источником этой информации был сам Сталин. «Я вспоминаю 1898 год, когда я впервые получил кружок из рабочих железнодорожных мастерских. Это было лет 28 тому назад. Я вспоминаю, как я на квартире у т. Стуруа в присутствии Сильвестра Джибладзе (он был тогда тоже одним из моих учителей), Чодришвили, Чхеидзе, Бочоришвили, Иинуа и др. передовых рабочих Тифлиса получил первые уроки практической работы. В сравнении с этими товарищами я был тогда молодым человеком. Может быть, я был тогда немного больше начитан, чем многие из этих товарищей. Но как практический работник я был тогда, безусловно, начинающим. Здесь, в кругу этих товарищей, я получил тогда первое свое боевое революционное крещение. Моими первыми учителями были тифлисские рабочие».
Весной 1900 г. руководители «Месаме-даси» были арестованы, однако Джугашвили избежал ареста. Есть воспоминания, что он был одним из организаторов демонстрации 1 Мая. В этой демонстрации приняли участие несколько сот рабочих.
В 1900 г. в Тифлис из сибирской ссылки направляется соратник Ленина В.К. Курнатовский, который являлся представителем большевистской газеты «Искра» на Кавказе. По его инициативе в Тифлисе создается тифлисский Комитет социал-демократической партии, состоящий из одних интеллигентов. Иосиф знакомится с Курнатовским и принимает участие в работе комитета.
Весной 1901 г., когда тифлисские социал-демократы готовились к проведению маевки, охранкой 21 марта был арестован Курнатовский. Разыскивая организаторов демонстрации, полиция провела обыск на квартире Джугашвили в обсерватории, но Иосифа не застала. После этого Иосиф оставил работу в обсерватории и перешел на нелегальное положение. С этого времени вплоть до 1917 г. Джугашвили вынужден был скрываться от полиции, живя под разными фамилиями. Таким образом, он стал профессиональным революционером.
Демонстрация в честь 1 Мая в 1901 г. в Тифлисе все-таки была проведена, но была разогнана полицией. По колонне двухтысячной толпы демонстрантов была открыта стрельба, имелись раненые, многие участники демонстрации были арестованы. Газета «Искра» сообщила об этом на своих страницах. Скрываясь от ареста после проведения демонстрации, Джугашвили уехал в Гори.
По некоторым данным, в ноябре 1901 г. Джугашвили избирается членом Тифлисского комитета Российской социал-демократической рабочей партии и затем отправляется в Батуми. В мемуарной меньшевистской литературе утверждается, что Сталина вообще не избирали в то время в Тифлисский комитет, а он был отправлен в Батум из-за конфликтов с соратниками в Тифлисе.
В Батуме Джугашвили участвует в работе Батумского комитета РСДРП, в подготовке забастовок и протестных демонстраций рабочих. Среди профессиональных революционеров он был известен под партийными кличками Коба, Иванович, Василий.
В 1901 г. в Баку была создана группа «искровцев», которую возглавил соратник Ленина большевик Леонид Красин. Вместе с грузинским социал-демократом Ладо Кецховели они создали в Баку подпольную типографию, которая перепечатывала номера газеты «Искра» и получила позднее название «Нина». Авторы многих воспоминаний основные заслуги в создании этой типографии приписывали Сталину, хотя это было не так. В этой же типографии начали издавать нелегальную газету тифлисской социал-демократической организации «Брдзола» («Борьба») на грузинском языке. (Газета вышла всего 4 раза.) В сентябре 1901 г. в первом номере газеты была напечатана неподписанная статья под названием «От редакции». В декабрьском номере 1901 г. появилась вторая статья «Российская социал-демократическая партия и ее ближайшие задачи». Обе эти статьи открывают Собрание сочинений Сталина, однако в воспоминаниях кавказских социал-демократов (в основном меньшевиков) ставится под сомнение авторство Джугашвили. Так, Арсенидзе писал, что эти статьи впоследствии стали приписывать Сталину.