Здесь же, на Стокгольмском съезде, была принята резолюция с осуждением террористических акций, которые в тот период проводили «боевые дружины» рабочей самообороны, которые были созданы большевиками и вооружены в революцию 1905 г. Участников этих отрядов, которые занимались добычей денег и оружия для партии, т. е. фактически грабежом, называли «Эксами» или экспроприаторами. Ленин был против осуждения «эксов» и симпатизировал им. Большевики закрывали глаза и на партизанскую войну, использующую террор, который усилился в наступившие годы реакции и гонений на членов РСДРП.
На V Лондонском съезде РСДРП в 1907 г. была вновь принята резолюция с запрещением такого рода партизанских акций. Ленин голосовал против этой резолюции. Сталин присутствовал на съезде партии в Лондоне в качестве делегата с совещательным голосом. Там произошла его встреча с будущим главным соперником — Л.Д. Троцким.
Роль Сталина в экспроприации остается недоказуемой, хотя многие в партии считали его «эксом». Беспримерное по своей дерзости ограбление тифлисского казначейства на Эриванской площади в Тифлисе в 1907 г., совершенное через полтора месяца после Лондонского съезда, организовал и провел Камо (Тер-Петросян). Об участии в этом Сталина ничего не известно. Известно только, что до и после ограбления Сталин ездил в Берлин и встречался с Лениным. Сам Сталин не подтверждал слухов о своем участии в экспроприации, но и не опровергал их.
Летом 1907 г. Коба переезжает в Баку, где сохранилась Бакинская организация большевиков (руководили ей Шаумян, Джапаридзе, Енукидзе). Профессиональный союз также находился под руководством большевиков. Большевики руководили организацией стачечного движения, а осенью — избирательной кампанией в III Государственную думу. Коба предпочитал работу в подпольном комитете, пытаясь подчинить себе популярных лидеров Шаумяна и Джапаридзе, чем вызывал естественное недовольство.
Сам он так вспоминал об этом периоде своей жизни: «Три года революционной работы среди рабочих нефтяной промышленности закалили меня как практического борца и одного из практических местных руководителей. В общении с такими передовыми рабочими Баку, как Вацек, Саратовец, Фиолетов и др., с одной стороны, и в буре глубочайших конфликтов между рабочими и нефтепромышленниками — с другой стороны, я впервые узнал, что значит руководить большими массами рабочих. Там, в Баку, я получил, таким образом, второе свое боевое революционное крещение. Там я стал подмастерьем от революции».
25 октября 1907 г. на общегородской большевистской конференции Коба был избран членом Бакинского комитета РСДРП. После почти полугода работы в составе комитета 25 марта 1908 г. он был арестован и помещен в Баиловскую тюрьму в Баку. По воспоминаниям социалиста-революционера Верещака, находившегося вместе с Кобой в тюрьме, переполненной арестантами, Коба отличался грубостью, но держался твердо, нервы у него были железные, в тюрьме он изучал язык эсперанто.
9 ноября 1908 г. Иосифа отправляют в ссылку. В январе 1909 г. состав со ссыльными прибыл в Вологду. Местом пребывания ссыльного Кобы был определен город Сольвычегодск. Перенеся возвратный тиф, он добрался 27 февраля до этого города и оставался там до своего побега в июне 1909 г. Судя по скудным свидетельствам, сбежав, Сталин отправился в Петербург, где, встретившись с С.Я. Аллилуевым, отправился в Баку. В Баку он начал восстанавливать издание газеты «Бакинский пролетарий». Очередной номер газеты вышел 1 августа, в нем была напечатана его статья под названием «Партийный кризис и наши задачи». Главной задачей Коба назвал создание общерусской газеты в России, а не за границей.
В ноябре — декабре 1909 г. Коба написал серию статей под заголовком «Письма с Кавказа» для газеты «Социал-демократ», издававшейся в эмиграции.
23 марта 1910 г., на другой день после заседания Бакинского комитета, Джугашвили, действовавший тогда под фамилией Меликянц, был арестован. Он снова попал в Баиловскую тюрьму, а в сентябре был опять выслан в Сольвычегодск. Уже после ареста вышла из печати его статья, посвященная Августу Бебелю.