В 1921–1925 годы Мандельштамы живут в Петрограде (Ленинграде), затем в Москве. Источником заработка становятся для поэта переводы прозы с французского и немецкого, в меньшей степени — критика и журналистика (однажды Мандельштаму пришлось брать интервью у молодого вьетнамского коммуниста, который был не кем иным, как Хо Ши Мином — будущим президентом этой страны). Какое-то время Мандельштам служит в газете «Московский комсомолец». В 1928 году выходит последняя прижизненная книга стихов, в том же году — книга статей. Поэтическая активность Мандельштама в эти годы на несколько лет замирает, зато пишется автобиографическая проза — «Шум времени», «Феодосия» (1925), «Египетская марка» (1927), наконец, знаменитая «Четвертая проза» (1930).
Надлом в отношениях со временем проявляется на поверхности по-разному. Осип Эмильевич больше не кажется знакомым «смешным» и «милым» — его эксцентричность порою проявляется некомфортно для окружающих. На рубеже 1930-х как будто помимо воли поэта происходит ряд литературно-бытовых и просто бытовых конфликтов (с переводчиком Горнфельдом, литератором Амиром Сагиджаном и вслед за тем с возглавившим товарищеский суд по этому делу А. Н. Толстым). Ими пользовались для вытеснения неудобного писателя из литературы. Покровительство Н. И. Бухарина помогало житейски (Мандельшам в начале 1930-х годов получил квартиру и небольшую пенсию от государства), но даже член ЦК не мог ничего сделать с невостребованностью Мандельштама, его отлученностью от литературного процесса. Конечно, яростное отщепенчество, пронизывающее «Четвертую прозу», связано не только с этим. Мандельштама возмущало туповатое государственное насилие — и его доводила до бешенства самодовольная трусость советской литературы.
Но это не значит, что пафос революционной переделки мира совсем не задел, не затронул его. Характерно, например, написанное в 1931 году письмо отцу — неудачливому капиталисту, на старости лет искренне увлекшемуся коммунистическими идеями: «Мог ли я думать, что услышу от тебя большевистскую проповедь? Да в твоих устах она для меня сильней, чем от кого-либо. Ты заговорил о самом главном: кто не в ладах со своей современностью, кто прячется от нее, тот и людям ничего не даст, и не найдет мира с самим собой. Старого больше нет, и ты это понял так поздно и так хорошо. Вчерашнего дня больше нет, а есть только очень древнее и будущее». Сюда же замечательное наблюдение С. С. Аверинцева: «…В самых резких местах „Четвертой прозы“ — язык не „антисоветский“ и не досоветский; это распознаваемый и актуальный для 1929–1930 годов язык советской оппозиции». Неприятие советского мира было для Мандельштама во многом неприятием изнутри.
В 1930 году Мандельштам возвращается к поэзии. Толчком стали разговоры с новым другом — биологом Б. С. Кузиным, и, с другой стороны, путешествие в Армению. В течение нескольких лет он пишет десятки стихотворений, ставших общепризнанными шедеврами. В этих стихах есть совершенно невиданная прежде интонационная и языковая свобода. Прежний, «петербургский» Мандельштам кажется рядом с этим, «всероссийским», несколько академичным — при всем своем величии. Упование на «высокую доблесть грядущих веков», высокое дыхание одиночества и свободы соседствует в стихах 1930-х годов с чувством подступающего утробного ужаса:
Между ноябрем 1932-го и мартом 1933 года состоялось несколько творческих вечеров Мандельштама — в редакции «Литературной газеты» и Политехническом музее в Москве, в Доме печати и в Капелле в Ленинграде. Вечера имели внутрилитературный резонанс, Эйхенбаум говорил о Мандельштаме как об одном из главных поэтов эпохи. Однако из переговоров о выходе книги ничего не вышло; лишь несколько новых стихотворений увидели свет в «Новом мире» и «Литературной газете». В «Звезде» в 1933 году было напечатано «Путешествие в Армению» — что, впрочем, дало лишь новый повод для критических нападок. Московский период завершает цикл памяти Андрея Белого и гениальное стихотворение «Мастерица виноватых взоров…», посвященное Марии Петровых. В ночь с 16 на 17 мая 1934 года Мандельштам был арестован.