С 10 июня 1906 по сентябрь 1909 года Свердлов сидел в тюрьмах Урала. 19 декабря 1909 года его снова арестовали в Москве. 31 марта 1910 года он был выслан в Нарымский край на три года. В 1910 году бежал из Нарымской ссылки в Петербург, и был редактором газеты «Правда». Вступил в активную переписку с Лениным, и был кооптирован в Русское бюро ЦК РСДРП.
5 мая 1911 года Свердлов был приговорен к ссылке в Нарымский край Томской губернии на 4 года. В 1912 года в Нарыме Яков Михайлович познакомился со Сталиным, который бежал из ссылки в августе. Свердлову тоже удалось бежать из Нарыма в декабре. В феврале 1913 года был вместе со Сталиным выдан агентом охранки и сослан в Туруханск. Ссылку на севере Енисейской губернии (посёлок Ку-рейка) они некоторое время отбывали в одном доме. Потом они стали жить на разных квартирах и встречались редко. 1 октября 1913 года на заседании ЦК РСДРП обсуждался вопрос об организации побега из ссылки Свердлова и Сталина, но он не был осуществлен.
В марте 1917 года Свердлов возвращается из ссылки. После Февральской революции он был направлен ЦК в Екатеринбург организовать работу Уральской областной партийной конференции, чтобы подготовить пролетарское восстание на Урале – на случай, если не получится в Петрограде.
На 7 (Апрельской) конференции РСДРП (24 апреля 1917 года) Свердлов впервые лично встретился с Лениным и начал выполнять для него различные текущие дела и поручения. Под влиянием Ленина Свердлов был избран членом ЦК и возглавил организованный тогда Секретариат ЦК РСДРП, реализующий решения партийных вождей. Во время массовых выступлений 3–4 июля Свердлов был главным оратором от ЦК большевиков и получил от политических противников прозвище «чёрный дьявол большевиков» (по цвету его кожаной тужурки, с которой он не расставался, потом это стало большевистской модой). Когда большевики были объявлены контрреволюционерами и немецкими шпионами, Свердлов лично пришёл к Ленину и увел его в подполье, спрятав возле станции Разлив под Сестрорецком, а сам остался в Петрограде организовывать захват власти большевиками. В дальнейшем он осуществлял связь ЦК с Лениным, всячески препятствовал его необдуманным попыткам вернуться к легальной деятельности и снабжал его общей информацией о ходе дел в Петрограде.
Пока Ленин писал в шалаше под Разливом книгу «Государство и революция», определившую принципы устройства пролетарского государства, Свердлов развил бурную деятельность по реализации его идей. Подготовив и проведя VI съезд РСДРП, он укрепил свои позиции члена ЦК РСДРП и руководителя Секретариата ЦК РСДРП. На историческом заседании ЦК 10 октября 1917 года, принявшем решение о вооружённом захвате власти, Свердлов был председателем и был назначен членом Военно-революционного центра, созданного для руководства восстанием.
8 ноября 1917 года по предложению Ленина Свердлов как главный кадровик был поставлен председателем ВЦИК Советов рабочих и солдатских депутатов. Действуя в этом качестве, Свердлов осуществил основную работу по созданию органов советской власти «в центре и на местах». С января 1918 года был председателем Комитета революционной обороны Петрограда.
Учредительное собрание – представительный орган в России, избранный в ноябре 1917 года и созванный в январе 1918 года для принятия конституции. Заседание Учредительного собрания открылось 18 января 1918 года в Таврическом дворце в Петрограде. На нём присутствовало 410 депутатов, большинство из них эсеры, представлявшие интересы крестьян, составлявших на тот момент 90 % населения страны. Ленин при поддержке левых эсеров поставил Учредительное собрание перед выбором: ратифицировать власть Советов и декреты большевистского правительства или разойтись. От имени ВЦИК Свердлов открыл первое заседание Учредительного собрания, огласив «Декларацию прав трудящегося и эксплуатируемого народа», в соответствии с которой Россия объявлялась республикой Советов рабочих, солдатских и крестьянских депутатов. Собрание большинством в 237 голосов против 146 отказывается даже обсуждать большевистскую Декларацию. Во время второй части заседания, в третьем часу ночи, представитель большевиков Фёдор Раскольников заявляет, что большевики (в знак протеста против непринятия Декларации) покидают заседание. Вслед за большевиками в четыре часа утра Собрание покидает левоэсеровская фракция. Ленин распорядился не разгонять собрание сразу, а дождаться прекращения заседания и тогда закрыть Таврический дворец и на следующий день уже никого туда не пускать. 19 января депутаты нашли двери Таврического дворца запертыми на замок. У входа стоял караул с пулемётами и двумя лёгкими артиллерийскими орудиями. Охрана сказала, что заседания не будет. На следующий день был опубликован декрет ВЦИК о роспуске Учредительного собрания, принятый 19 января.