29 мая того же года Вышинский провел в Прокуратуре СССР встречу с народными следователями прокуратур Московской и Калининской областей. Первым выступил прокурор Калининской области Назаров. Он привел удручающую картину состояния следственного аппарата. Из 69 следователей более 65 процентов были с низшим образованием, со средним — 29 процентов. Высшее образование было только у троих следователей; годичную юридическую школу окончили два следователя, а шестимесячные курсы — 16. И тем не менее каждый из следователей умудрялся заканчивать до 7 дел в месяц. Научно-технические средства практически не применялись. К тому же 13 следователей еще временно исполняли обязанности прокуроров районов.
После его выступления Вышинский вынужден был признать: «Следственный аппарат у нас деградировал. Он деградировал с точки зрения своей классовой прослойки, он деградировал с точки зрения общей подготовки, он деградировал с точки зрения правовой и юридической подготовки... Следственный аппарат — это задворки нашего аппарата в целом; к сожалению, это так. В следователи посылали тех, кого некуда уже больше послать... Распределяли окончивших вузы таким образом, что раньше всего отбирали кандидатов в районные прокуроры, похуже — направляли в суд, а совсем плохих — в следователи». Далее он сказал, что необходимо «стремиться к тому, чтобы работники юстиции были легионерами нашего советского права... Следователями и прокурорами должны быть люди без человеческих слабостей... это должны быть люди, для которых вопрос закона и права — это вопрос жизни и смерти, а не вопрос их службы». Вышинский признал, что «от этой задачи мы, к сожалению, очень далеки».
13—16 июля 1936 года в Москве состоялось второе Всесоюзное совещание прокуроров. На него съехались прокуроры союзных и автономных республик, краев, областей, крупных городов, водных бассейнов, железных дорог. Участники совещания направили приветственные письма секретарю ЦК ВКП(б) И. В. Сталину, председателю Совнаркома СССР В. М. Молотову и председателю ЦИК СССР М. И. Калинину. Приветствия были направлены бывшему прокурору Союза И. А. Акулову, который после болезни приступил к исполнению обязанностей секретаря ЦИК СССР, а также прокурору Харьковской области М. И. Брону, который не смог прибыть на совещание из-за совершенного на него покушения (он был ранен).
Совещание заслушало доклады прокурора Союза Вышинского «Сталинская Конституция и задачи органов юстиции» и его заместителя Рогинского «Организационные вопросы перестройки прокуратуры в свете проекта Сталинской Конституции». Вышинский начал свой доклад с дифирамбов проекту новой Конституции, которую уже тогда все стали называть Сталинской. Затем он привел слова Сталина о том, что Советский Союз отстал от других развитых стран на 50—100 лет: «Мы должны «пробежать» это расстояние в 10 лет. Либо мы это сделаем, либо нас сомнут». Благодаря преимуществам советского строя и социалистической демократии эта задача оказалась вполне выполнимой, оптимистично заметил Вышинский. Говоря о разделе проекта Конституции об органах прокуратуры, он подверг критике точку зрения, выдвинутую Антоновым-Саратовским в статье, опубликованной в «Правде», о том, что Прокуратуру СССР необходимо включить в состав Наркомюста, а также идеи Крыленко, который пытался в конституционной комиссии поставить вопрос об исключении из раздела проекта Конституции о прокуратуре слова «высший» в отношении надзора. «Это очень маленькое предложение, на первый взгляд безобидное, но оно могло повлечь за собой чрезвычайно серьезные последствия», — подчеркнул Вышинский. Далее он сказал: «Мы имеем полное основание говорить, что нынешняя Прокуратура Союза строится как единая самостоятельная система прокурорских органов, сугубо централизованная».
Затем Вышинский перешел к изложению основных задач, стоящих перед органами прокуратуры, остановившись более подробно на двух направлениях: на вопросах, связанных с общим надзором, и на вопросах судебного надзора. Он отметил, что теперь вместо отделов промышленности, сельского хозяйства и т. п. будут созданы отделы общего надзора, следственный, уголовно-судебный и другие. При этом Вышинский покритиковал точку зрения Антонова-Саратовского и Виноградова, которые считали, что следственный аппарат надо изъять из органов прокуратуры и передать его органам юстиции или суду.
Идеи Вышинского по структуре органов прокуратуры были конкретизированы в докладе Рогинского.
1936 год оказался для Прокурора Союза очень насыщенным. Вышинский без конца выступал в многочисленных аудиториях по самым разнообразным вопросам: на Московском областном съезде членов коллегии защитников, на совещании в прокуратуре Украинской ССР, на VIII съезде Советов.
Проводил он и некоторые нетрадиционные встречи. 31 августа принял у себя участников и организаторов большого перехода на весельных лодках по Волге. Семь активистов прокуратуры Кимрского района Калининской области С. И. Болозеров, А. А. Горячев, М. С. Андреянова, С. Н. Стрейбо, С. М. Буланов, Е. Н. Соколова и В. В. Жуков, рабочие-стахановцы Савеловского механического завода и обувной фабрики «Красная Звезда» в рекордный срок — за 25 дней — преодолели расстояние от Кимр до Астрахани. По пути они ознакомились с работой групп содействия прокуратур Горьковского, Куйбышевского, Саратовского, Сталинградского краев, республики немцев Поволжья и поделились собственным опытом.
Организаторы перехода, прокуроры Кимрского района В. С. Шеврыгин и Калининской области Л. Я. Назаров, а также все его участники были премированы ценными подарками.
С 20 августа по 1 сентября в Прокуратуре СССР была проведена первая Всесоюзная учебная конференция народных и старших следователей, а с 1 по 10 сентября — вторая конференция следователей военных, железнодорожных и водно-транспортных прокуратур. На них присутствовало 116 лучших следователей страны, большинство из которых имели стаж работы свыше шести лет. После конференции Вышинский провел совещание со следователями. В декабре того же года состоялась и третья конференция следователей.
5 ноября 1936 года Совнарком СССР утвердил представленную Вышинским новую структуру Прокуратуры Союза. Были ликвидированы производственные отделы (промышленный, по делам торговли, кооперации и финансов и другие). Новая структура состояла из 15 подразделений: Главной военной прокуратуры, Главной прокуратуры железнодорожного транспорта, Главной прокуратуры водного транспорта, отделов общего надзора, уголовно- и гражданско-судебных, следственного, по спецделам, по надзору за местами заключения и других. Непосредственно при Прокуроре СССР состояли прокуроры для особых поручений, следователи по важнейшим делам, инспектора и консультанты. Применительно к этой структуре должны были строить свои аппараты прокуратуры союзных и автономных республик, краев и областей.
Приказом от 29 октября 1936 года Вышинский в «целях объединения методического руководства следствием всех органов прокуратуры» преобразовал Центральную методическую комиссию в Методический совет при Прокуроре СССР. 22 ноября, открывая его первое заседание, Вышинский сказал, что в первую очередь надо решить ряд важнейших вопросов: о классификационной карте следователя, об организации учебных конференций, о соцсовместителях следователей, об открытом следствии. После этого участники методсовета обсудили проект плана методических мероприятий, который доложил Э. Э. Левентон. Всего за 1936 год было проведено четыре заседания Методического совета.
25—28 декабря 1936 года в Москве проходило первое Всесоюзное совещание работников суда и прокуратуры по гражданским делам. Открыли его вступительным словом нарком юстиции СССР Н. В. Крыленко и заместитель прокурора СССР Г. М. Леплевский. На открытии совещания Вышинского не было, он в это время готовился к процессу по троцкистскому антисоветскому центру, однако затем приехал и выступил с большой речью. Доклады сделали заместитель председателя гражданской судебной коллегии Верховного суда СССР Рейхель, председатель аналогичной коллегии Верховного суда РСФСР Лисицын и помощник прокурора СССР Борисов.