Ни в учителя, ни в сотрудники духовного ведомства Джугашвили не пошел. Гораздо интереснее ему было делать революцию. Иосиф перебивался случайными заработками в каких-то конторах, иногда давал уроки в качестве репетитора. До конца 1899 года Иосиф жил на квартире Д.Е. Каландарашвили на Михайловском проспекте, 102.
28 декабря 1899 года Сосо был зачислен в Тифлисскую физическую обсерваторию, где начал работать в качестве наблюдателя-метеоролога. Там он поселился в комнатке флигеля, примыкавшего к двухэтажному зданию обсерватории. Устроил Джугашвили в лабораторию его товарищ по семинарии и по «Месаме-даси» Вано Кецховели. Зарплата наблюдателя составляла 20 рублей в месяц, после полугода службы полагалась 5-рублевая надбавка.
В «Месаме-даси» Сталин принадлежал к радикальному меньшинству и резко критиковал лидера организации Ноя Жорданию и других будущих меньшевиков за отказ от решительных методов борьбы вроде демонстраций и политических забастовок.
В самом начале своей работы в обсерватории, в январе 1900 года Сталин подвергся первому в своей жизни кратковременному аресту. Причины его не ясны до сих пор. По одной из версий, с Иосифа требовали вернуть долг отца Диди-Лиловскому сельскому правлению, к которому тот был приписан. Долг уплатили товарищи по партии, и Иосиф вышел на свободу. Местожительство отца, очевидно, в тот момент было неизвестно, почему долг и требовали с сына.
На рубеже XIX и XX веков активизировалось социал-демократическое движение в Российской империи, в том числе и в Закавказье. В декабре 1900 года в Лейпциге вышел первый номер газеты «Искра». В ряде городов готовились широко отпраздновать 1 мая 1901 года. В связи с этим Тифлисское Главное жандармское управление подготовило обзор деятельности Тифлисской организации РСДРП. В списке из 29 ее предполагаемых членов Иосиф Джугашвили значился под номером 2. Это, вероятно, можно расценить как признак его влияния. Жандармы так описывали будущего диктатора: «Иосиф Джугашвили, наблюдатель в Физической обсерватории, где и квартирует. По агентурным сведениям, Джугашвили социал-демократ и ведет сношения с рабочими. Наблюдение показало, что он держит себя весьма осторожно, на ходу постоянно оглядывается; из числа его знакомых выяснены: Василий Цабадзе и Северин Джугели; кроме того нужно думать, что и Сильвестр Джибладзе заходил в обсерваторию именно к Джугашвили».
По списку, содержащемуся в обзоре, стали проводить обыски и аресты. 21 марта 1901 года добрались и до обсерватории. Джугашвили дома не застали и сначала подвергли обыску его квартиру. На подходе к дому Иосиф заметил жандармов и повернул обратно к объектам обсерватории. Однако в конце концов его обнаружили и подвергли личному обыску. Ничего компрометирующего найдено не было, и задерживать его не стали, но после обыска Джугашвили предпочел от греха подальше перейти на нелегальное положение. У него изъяли книгу С.Н. Прокоповича «Рабочее движение на Западе», которую трактовали в качестве нелегальной литературы. Было решено привлечь Джугашвили к дознанию в качестве обвиняемого по делу тифлисской социал-демократической организации. Однако вскоре выяснилось, что книга Прокоповича была легально издана в Петербурге в 1899 году, и дело Джугашвили окончательно развалилось.
Уйдя в подполье, Сталин стал активно готовить первомайскую демонстрацию. Всего в ней участвовало 2–3 тыс. человек. Они собрались у Солдатского базара небольшими группами и подняли красный флаг. Тут на них набросились прятавшиеся в соседних улочках солдаты и полицейские. Демонстрацию разогнали, часть участников арестовали. Сразу же появилась листовка «Долой тиранию! Да здравствует свобода!», подготовленная социал-демократами. В Тифлисе в тот момент победила линия Сталина на политизацию движения и сочетание легальных и нелегальных методов борьбы.
Весной и летом 1901 года почти все руководители тифлисских социал-демократов, остававшиеся на легальном положении, были либо арестованы, либо взяты под плотное наблюдение. В этих условиях Джугашвили стал играть значительно большую роль в координации действий организации. 11 ноября 1901 года на общегородской партийной конференции он был избран одним из четырех руководителей. Вскоре после конференции Джугашвили был направлен в Батум для пропаганды среди местных рабочих. Отъезд был связан также с тем, что в Тифлисе ему угрожал арест.