В ночь с 16 на 17 мая 1934 г. Мандельштама арестовали. На Лубянке он признался, что читал стихотворение следующим людям: жене Надежде, брату Александру Мандельштаму, брату жены Евгению Яковлевичу Хазину — литератору, подруге жены Эмме Григорьевне Герштейн — сотруднице ВЦСПС, Анне Ахматовой — поэтессе, ее сыну Льву Гумилеву, Давиду Григорьевичу Бродскому — литератору, Борису Сергеевичу Кузину — сотруднику зоологического музея, Марии Сергеевне Петровых — молодой поэтессе.
Мандельштам назвал девятерых, о которых следователь был осведомлен. Кроме них стихи о Сталине слышали еще восемь человек, но следователь их не назвал, и Мандельштам промолчал. Остался не упомянут, например, Пастернак. Пастернак пошел просить за Мандельштама в «Известия» к Н. Бухарину, а Ахматова — к Авелю Енукидзе, в Кремль.
Возможно, это заступничество известных поэтов и Николая Бухарина сыграло свою роль. Известен факт звонка Сталина Пастернаку, в котором предметом разговора был Мандельштам.
Резолюция Сталина была: «Изолировать, но сохранить». И вместо расстрела или лагерей — неожиданно мягкий приговор: ссылка вместе с женой, Надеждой Мандельштам, в город Чердынь-на-Каме Пермской области. Возможно также, что вождю невыгодно было убивать поэта. Стихи казненного звучат сильнее.
В Чердыни у Мандельштама были приступ душевной болезни и попытка самоубийства. Он выбросился из окна больницы и сломал плечо.
Жена и брат обратились в ОГПУ, чтобы Мандельштаму поменяли место ссылки, так как в Чердыни не было квалифицированной медицинской помощи. Вопрос был решен за полмесяца — действовала сталинская резолюция. Осип и Надежда переехали в Воронеж.
У Мандельштама были и другие стихи, за которые грозила кара. В декабре 1930 г. он написал стихотворение «Ленинград», которое по недосмотру напечатала «Литературная газета»:
Тогда Мандельштаму пригрозили арестом.
В Воронеже Мандельштам пробыл до 1937 г. Жил нищенски, сперва на мелкие заработки, потом на скудную помощь друзей и постоянно продолжал ждать расстрела.
После воронежской ссылки Мандельштам почти год живет в окрестностях Москвы, по словам А. Ахматовой, «как в страшном сне».
Разрешения жить в столице Мандельштам не получил. Работы не было. И вдруг в начале весны 1938 г. секретарь Союза писателей СССР Ставский, на прием к которому безуспешно пытался попасть Мандельштам, но который так и не принял поэта, — именно он предлагает Мандельштаму и его жене путевки в Дом отдыха «Саматиха», причем на целых два месяца. Как оказалось, это было сделано специально, чтобы поэта легко было найти.
30 апреля 1938 г. был подписан ордер на новый арест поэта. 1 мая 1938 г. в Доме отдыха О. Мандельштама арестовали во второй раз…
После распада Советского Союза специальному корреспонденту «Известий» Эд. Поляновскому удалось посмотреть в архиве КГБ «Дело № 4018 по обвинению гр. О. Э. Мандельштама». В деле он обнаружил донос, который 16 марта 1938 г. Ставский написал наркому внутренних дел Ежову. В доносе Ставский указал, что, несмотря на запрет, Мандельштам часто бывает в Москве у своих друзей-литераторов. Его поддерживают, делают из него «страдальца». Братья Катаевы и другие литераторы открыто выступают в его защиту. Мандельштама осудили на пять лет лагерей за контрреволюционную деятельность, но он виновным себя не признал.
31 января 1939 г. инициатор и организатор ареста поэта Владимир Ставский был награжден орденом «Знак Почета».
После приговора Мандельштама перевели в Бутырскую тюрьму. Там формировались эшелоны в лагеря, которые уже покрыли всю страну. Осип Эмильевич провел в Бутырках более месяца. Бутырка — не Лубянка. Там он был подследственным, здесь — врагом. Там в двухместной камере была у него постель. В Бутырках же, в общей переполненной камере сидели человек триста. Сидели тесно на каменном полу спиной друг к другу.