Основная претензия, предъявлявшаяся Рыкову и его сторонникам, состояла, по словам Сталина, в следующем: «Они не хотят признавать, что всемерное развитие индустрии является ключом преобразования всего народного хозяйства на началах социализма».
Критике взглядов Рыкова и других «правых уклонистов» была посвящена речь Сталина «О правой опасности в ВКП(б)» на Пленуме Московского комитета партии 19 октября 1928 года. Много гневных стрел было пущено в адрес Рыкова, Бухарина, Томского в сталинском Отчетном докладе ЦК XVI съезду партии, проходившему в июне-июле 1930 года. В нем, кстати, увиденная «правыми» опасность крушения страны в ходе ее тогдашнего развития была названа «тараканьей опасностью».
Известный американский историк и советолог Стивен Коэн, анализируя деятельность «правой» оппозиции, высказал мнение о том, что Рыков лишь как бы ассистировал Бухарину, а Бухарин оставлял ему излагать только «детали и статистку». Это было, однако, далеко не так: Алексей Иванович постоянно демонстрировал самостоятельность политического мышления.
Среди идей, выдвигавшихся Алексеем Ивановичем, было немало созвучных нынешнему дню. Говоря об этом, следует иметь в виду, что Рыков и его сторонники по существу выдвинули идею организации в СССР регулируемого рынка.
Увидев дальнейшее развитие страны в рамках НЭПа и на фундаменте его принципов, Рыков и «правые» хорошо понимали и перспективы этого процесса, который, по мнению современных исследователей, предполагал «постепенную эволюцию авторитарного режима 20-х годов в сторону его либерализации и плюралистичности». Не допустить такой эволюции, грозившей капитализацией страны, и стремилось сталинское руководство, поднимая на щит вопрос о «правой опасности в ВКП(б)».
Причем критика «правого уклона» со временем была подкреплена и оргвыводами. Объединенный Пленум ЦК и ЦКК ВКП(б) подверг, во-первых, в своей резолюции осуждению политические взгляды рыковцев и бухаринцев. Во-вторых, Пленум принял решение освободить Бухарина от работы в «Правде» и в Коминтерне. Через месяц потерял один из своих постов и Рыков.
В сообщении об этом 19 мая 1929 года отмечалось, что совмещение должностей председателя Совнаркома СССР и Совнаркома РСФСР «слишком обременительно» для одного лица. В силу этого Рыков был заменен на посту председателя Совнаркома РСФСР С. И. Сырцовым.
Дальнейшее пребывание Алексея Ивановича на постах председателя Совнаркома СССР и председателя СТО СССР продлилось еще полтора года. К концу этого срока оно носило все более формальный характер, хотя официально Рыкова продолжали называть в выходивших книгах, журналах, газетах «одним из крупнейших работников партии». Сообщалось также, что «на XVI съезде ВКП(б) он признал ошибочность своих взглядов и отказался от них».
В различных партийных публикациях продолжали цитировать наиболее известные его публичные выступления: «Деревня, НЭП и кооперация» (отчет правительства на III съезде Советов), «О новой оппозиции» (речь на XIV съезде партии), «Хозяйственное положение страны и задачи партии» (речь на XIV Всесоюзной партконференции).
Черта под пребыванием Рыкова на высших союзных постах была проведена в 1930 году. На объединенном Пленуме ЦК и ЦКК ВКП(б), проходившем в Москве с 17 по 21 декабря, было принято решение о замене Алексея Ивановича на посту председателя Совнаркома СССР В. М. Молотовым. Рыков был лишен своих премьерских полномочий 19 декабря того же года. Его освободили также от обязанностей председателя СТО СССР и вывели из состава Политбюро ЦК ВКП(б).
Последующие пять лет, с 30 марта 1931 по 26 сентября 1936 года, Алексей Иванович работал наркомом почт и телеграфов (связи) СССР. В феврале 1934 года на XVII съезде партии он стал кандидатом в члены ЦК партии (в состав ЦК он впервые вошел еще в 1905 году).
Во время партийной чистки в ноябре 1933 года специальная комиссия признала, что Рыков продолжил «право-оппортунистическую политику», находясь на новой работе, а его публичные выступления были признаны «политически неудовлетворительными».
Тем не менее, еще более мощные удары ожидали Алексея Ивановича впереди. В 1937 году на февральско-мартовском Пленуме ЦК ВКП(б) Рыков и Бухарин были исключены из партии. В заключительный день Пленума, 5 марта 1937 года, Алексея Ивановича арестовали.
Следствие продолжалось целый год. Рыков был признан участником «антисоветского правотроцкистского блока». Процесс по делу этого блока был проведен в Москве со 2 по 13 марта 1938 года. К открытию процесса Октябрьский зал Дома Союзов был специально украшен, на скамье подсудимых — 21 человек. В зале много иностранцев.