В мае 1928 года Вышинский временно был призван в органы юстиции. Он назначается председателем Специального присутствия Верховного суда
СССР по делу группы «вредителей» в угольной промышленности, известного больше как «Шахтинское дело». Суду были преданы 53 специалиста старой буржуазной школы. По версии следствия, «вредители» (инженеры и техники Шахтинского района Донбасса) были тесно связаны с бывшими собственниками предприятий (русскими и зарубежными) и ставили своей целью «сорвать рост социалистической промышленности и облегчить восстановление капитализма в СССР». С этой целью они якобы организовывали взрывы на шахтах, портили машины и оборудование, умышленно нарушали законы о труде и правила техники безопасности и совершали иные противозаконные действия. Поддерживал обвинение по этому делу Н. В. Крыленко, помогал ему Г. К. Рогинский. В процессе участвовали 16 адвокатов и среди них — корифей старой присяжной адвокатуры, у которого Вышинский некогда был помощником, П. Н. Малянтович. Двадцать спецов, преданных суду, признали себя виновными полностью и подробно изложили свои показания, десять — частично, остальные категорически отрицали какую-либо причастность к вредительству.
Обвинительный приговор по делу был предрешен заранее. Еще за месяц до начала процесса, в апреле 1928 года, выступая на Московской партийной конференции, И. В. Сталин сказал об этом деле так: «Факты говорят, что Шахтинское дело есть экономическая контрреволюция, затеянная частью буржуазных спецов, владевших ранее угольной промышленностью. Факты говорят далее, что эти спецы, будучи организованы в тайную группу, получали деньги на вредительство от бывших хозяев, сидящих теперь в эмиграции, и от контрреволюционных антисоветских организаций на Западе».
После такого «оглашения» фактов судьба подсудимых была ясна всем. Тем не менее процесс тянулся долго, почти полтора месяца. Дело было настолько «шито белыми нитками», что даже Вышинскому пришлось оправдать четверых подсудимых, а еще троих — приговорить к условной мере наказания. Одиннадцать человек были приговорены к смертной казни (в отношении шестерых из них суд сам ходатайствовал о смягчении наказания), а остальные — к различным срокам лишения свободы. Пятерых из приговоренных расстреляли. Сразу же после процесса Вышинский выпустил книгу «Уроки Шахтинского дела», в которой всячески «обосновывал» необходимость применения жестких репрессивных мер против «классовых врагов».
В начале декабря 1930 года в Москве проходил еще один крупный процесс над вредителями из так называемой «Промышленной партии». На скамье подсудимых на этот раз оказались директор Теплотехнического института профессор Рамзин, а также целый ряд других ответственных работников Госплана СССР и ВСНХ СССР (всего 8 человек). Все они обвинялись в контрреволюционной и вредительской деятельности. Председательствовал на этом процессе вновь Вышинский, официально занимавший тогда должность члена коллегии Наркомата просвещения РСФСР. Государственное обвинение поддерживал все тот же Крыленко, а помогал ему на этот раз краевой прокурор Фридберг. Все подсудимые признали себя виновными и дали развернутые показания о своей «деятельности».
7 декабря 1930 года Вышинский огласил приговор. Все подсудимые были признаны виновными в инкриминируемых им преступлениях. Пятерых из них суд приговорил к смертной казни, которую уже на следующий день Президиум ЦИК СССР заменил лишением свободы.
11 мая 1931 года Андрей Януарьевич Вышинский был назначен Прокурором РСФСР, сменив на этом посту Н. В. Крыленко, ставшего народным комиссаром юстиции республики, а через десять дней становится одновременно и его заместителем. Эти должности он занимал немногим более двух лет, чего, однако, вполне хватило, чтобы о нем заговорили как о новой восходящей звезде на юридическом небосклоне. И хотя Вышинский продолжал пребывать как бы в тени славы Крыленко, считавшегося первым советским судебным оратором (именно наркому, а не прокурору республики было доверено выступить обвинителем на процессе меньшевиков, хотя, вероятнее всего, причина здесь крылась в меньшевистском прошлом Вышинского), он сумел развить очень бурную деятельность. Ни одно важное событие в правовой жизни страны, будь то совещания, активы, судебные процессы, особенно по политическим делам, не обходилось без его участия. К этому надо добавить многочисленные выступления в печати, издание книг и брошюр по правовой тематике, лекции и доклады на разнообразных конференциях и симпозиумах. Он чутко прислушивался ко всем выступлениям Сталина, тщательно штудировал его статьи и тут же использовал идеи вождя в своей практической деятельности.
В декабре 1931 года в печати появилось большое письмо И. В. Сталина в редакцию журнала «Пролетарская революция» под заглавием: «О некоторых вопросах истории большевизма», в которой он гневно обрушивался на «антипартийную и полутроцкистскую» статью Слуцкого «Большевики о германской социал-демократии в период ее предвоенного кризиса». В этом письме Сталин назвал Слуцкого «фальсификатором истории партии, учителем которого были троцкисты». Подчеркнув, что на публикацию статьи редакцию подтолкнул «ее гнилой либерализм», Сталин писал о том, что некоторые большевики ошибочно считают троцкизм фракцией коммунизма и поэтому допускают либерализм в отношении троцкистов и «троцкистски-мыслящих людей». «На самом деле, — указывал далее Сталин,- троцкизм есть передовой отряд контрреволюционной буржуазии. Вот почему либерализм в отношении троцкизма... есть головотяпство, граничащее с преступлением, изменой рабочему классу...» Заканчивал свое письмо вождь так: «Больше партийной бдительности, сильнее огонь по контрреволюционным троцкистам и антипартийным всякого рода вылазкам, сильнее огонь по гнилому либерализму и мягкотелости...»
Нет нужды говорить о том, что это письмо стало программой действий на ближайшее время всех карательных органов страны, не исключая Наркомат юстиции и Прокуратуру республики. И проводниками этих идей в жизнь выступали прежде всего их руководители — Н. В. Крыленко и А. Я. Вышинский. Волна разоблачений троцкистов прокатилась по всей стране, захватив самые глубинные ее слои.
15 декабря 1931 года на открытом собрании ячейки ВКП (б) Наркомюста РСФСР Вышинский сделал большой доклад в связи с письмом Сталина. В этом сплошь «пропагандистском» выступлении он, в частности, сказал: «Для того чтобы быть беспощадными к этим врагам (то есть троцкистам. — Авт.), для того чтобы ошибочно не вступать с ними в дискуссию, мы должны уметь различать этих врагов, знать, где эти враги и в чем их враждебность против нашего дела может проявляться и проявляется». Далее Вышинский учит, как это надо делать. Он, например, указывает на «врагов», засевших в кассационной коллегии Верховного суда РСФСР (они, эти «враги», отменили обвинительный приговор суда только потому, что не сочли «контрреволюционной агитацией» толкование «по-своему» статей Сталина одним из осужденных). Такие «враги» оказались и в Ленинградском институте советского права (ведь преподаватель Либерман высказал «троцкистскую» мысль о том, что в период НЭПа союз пролетариата и крестьянства был «не экономическим, а военным»), и в Московском юридическом институте (там один из студентов имел неосторожность сказать о том, что «партия насильно загоняет крестьян в колхозы»). Вышинский предложил сделать выводы из всех этих «перегибов».
В третьем номере журнала «Советская юстиция» за 1932 год появилась большая статья Вышинского «Культурная революция и органы юстиции». В ней после традиционного восхваления Сталина он писал о том, что теперь, когда ликвидирована безработица, осуществлен переход на семичасовой рабочий день, улучшен материальный и бытовой уровень жизни трудящихся, на повестку дня поставлен вопрос о повышении культурного уровня населения, о проведении так называемой культурной революции. Какие же задачи в связи с этим должны стоять перед органами юстиции? На этот вопрос он отвечает в привычном уже для него амплуа непримиримого борца с «врагами народа»: «На органах юстиции в этом отношении лежат чрезвычайно высокие и ответственные обязанности. Они обязаны осуществлять надзор за революционной законностью... со всей беспощадностью обрушивать свои удары на головы оказывающих делу культурного строительства сопротивление, срывающих это строительство, пытающихся дезорганизовать ряды борцов культурного фронта».