На основании постановления СНК СССР от 5 сентября 1938 г. Главное управление мер и весов НКВД СССР и на основании постановления СНК СССР № 994 от 14 сентября 1938 г. Главное управление геодезии и картографии НКВД СССР были из системы НКВД изъяты.
29 сентября 1938 г. Л.П.Берия был назначен начальником ГУГБ НКВД СССР (11 сентября 1938 г. ему было присвоено звание комиссара гб 1 ранга), а заместителем начальника ГУГБ НКВД СССР был назначен бывший зав. отделом ЦК КП(б) Грузии В.Н.Меркулов (с 11 сентября 1938 г. — комиссар гб 3 ранга).
29 сентября 1938 г. была объявлена новая структура НКВД СССР:
ГУГБ, Главное экономическое управление (ГЭУ), Главное транспортное управление (ГТУ), Главное управление пограничных и внутренних войск (ГУПВВ), ГУРКМ, ГУЛАГ, ГУШОСДОР, ГУПО, Главное тюремное управление, Главное архивное управление (ГАУ), Управление коменданта Московского Кремля (УКМК), Административно-хозяйственное управление (АХУ), Дальстрой (ГУСДС), 1 спецотдел (учетно-регистрационный), 2 спецотдел (опертехники), 3 спецотдел (обыски, аресты, наружное наблюдение), Центральный отдел актов гражданского состояния (ЦОАГС), Центральный финансово-плановый отдел (ЦФПО), Отдел кадров (ОК), Переселенческий отдел, Особоуполномоченный НКВД СССР, Особое конструкторское бюро (ОКБ), Бюро по приему и рассмотрению жалоб, Инспекция по котлонадзору, Секретариат НКВД СССР.
В ГУГБ НКВД СССР вошли следующие отделы:
1 отдел (охраны правительства), 2 отдел (СПО), 3 отдел (КРО), 4 отдел (ОО), 5 отдел (ИНО), 6 отдел (военизированных организаций), 7 отдел (спецотдел).
Для ГЭУ была установлена следующая структура:
1 отдел (оборонной промышленности), 2 отдел (тяжелой промышленности и машиностроения), 3 отдел (легкая промышленность, лесная и местная промышленность), 4 отдел (сельское хозяйство и заготовки), 5 отдел (торговля, кооперация, финансы).
ГТУ имело следующую структуру:
1 отдел (ж.д. транспорт), 2 отдел (водный транспорт), 3 отдел (связь, гражданский воздушный флот, шоссейно-дорожное строительство).
Окончательно ГЭУ сформировалось лишь 4 сентября 1939 г., когда начальником этого главка был назначен Б.З.Кобулов.
Организационный период для ГТУ продлился до 31 марта 1939 г., когда начальником главка был назначен С.Р.Мильштейн.
4 октября 1938 г. заместителем наркома ВД СССР по хозяйству был назначен бывший нарком местной промышленности РСФСР Г.В.Филаретов. 16 ноября 1938 г. он стал также (по совместительству) и начальником ГУЛАГа НКВД СССР, но проработал в этой должности недолго: 17 февраля 1939 г. Г.В.Филаретов был освобожден от всех должностей в НКВД СССР и откомандирован в распоряжение ЦК ВКП(Б), а начальником ГУЛАГа НКВД СССР был назначен бывший начальник ГУРКМ НКВД СССР и заместитель наркома ВД СССР комдив В.В.Чернышев.
17 ноября 1938 г. В.М.Молотов и И.В.Сталин подписали совместное постановление СНК СССР и ЦК ВКП(б) "Об арестах, прокурорском надзоре и ведении следствия", в котором были отмечены крупные недостатки и извращения в работе органов НКВД.
23 ноября того же года Н.И.Ежов пишет письмо в Политбюро ЦК ВКП(б) на имя И.В.Сталина, в котором просит освободить его от работы наркомом внутренних дел СССР из-за целого ряда ошибок и промахов, допущенных им на этом посту.
24 ноября 1938 г. последовало решение Политбюро ЦК ВКП(б) об удовлетворении просьбы Ежова об освобождении его от обязанностей народного комиссара внутренних дел СССР ввиду изложенных в заявлении Ежова мотивов, и также принимая во внимание его болезненное состояние.
За Ежовым решено было оставить должности секретаря ЦК ВКП(б), председателя Комиссии партийного контроля и наркома водного транспорта СССР.
25 ноября 1938 г. Указом ПВС СССР Н.И.Ежов был освобожден от должности наркома внутренних дел СССР. Тогда же на эту должность был назначен Л.П.Берия. Однако в газетах опубликован этот Указ был лишь 8 декабря 1938 г.
Заместителей наркома ВД СССР постигла та же участь, что и самого "железного наркома". Агранов, Фриновский, Берман, Прокофьев, Бельский, Жуковский и Заковский были расстреляны, Курский застрелился сам, Рыжов умер в тюрьме, находясь под следствием. Только одному В.В.Чернышеву каким-то образом удалось избежать участи своих коллег-заместителей наркома ВД СССР: 18 февраля 1939 г. он был назначен начальником ГУЛАГа по совместительству с должностью заместителя наркома ВД СССР, а с 26 февраля 1941 г. и до своей смерти 12 сентября 1952 г. В.В.Чернышев работал заместителем наркома (министра) внутренних дел СССР и курировал в основном работу лагерных управлений НКВД (МВД) СССР, таких, как ГУЛАГ, Главгид-рострой, ГУЛЖДС, Главпромстрой и других.