Работа на Украине сблизила Серова с Н. Хрущевым — тогда первым секретарем ЦК КП(б) У. Впоследствии, когда многие чекисты из окружения Берии были наказаны, их дружба определила карьерный путь Серова, позволив ему выдвинуться в 1954 году на должность председателя КГБ.
Осенью 1939 года И.А. Серов утвердил инструкцию о порядке выселения, которая была одобрена в Москве и применялась при массовых выселениях и арестах в Литве, Латвии, Эстонии в июне 1941 года. Нужно заметить, что он лично руководил операциями по массовой депортации мирного населения.
В январе 1941 года Ивана Александровича избрали депутатом Верховного Совета СССР 1-го созыва от Ворошилов-градской области УССР. Именно тогда Серов прочно вошел в высший круг советской и партийной номенклатуры. 20 февраля 1941 года на XVIII Всесоюзной партийной конференции ВКП(б) его избрали кандидатом в члены ЦК ВКП(б).
После выделения из НКВД СССР Наркомата государственной безопасности 25 февраля 1941 года И.А. Серова назначили первым заместителем наркома. 20 июля 1941 года Наркоматы внутренних дел и государственной безопасности были объединены в НКВД СССР. 30 июля 1941 года Серов стал заместителем наркома — вновь под непосредственным руководством Л. Берии. С ним Серов работал вплоть до декабря 1945 года, когда Берия оставил свой пост в НКВД. По представлению Берии 4 февраля 1943 года Серову было присвоено специальное звание комиссара госбезопасности 2-го ранга (генерал-полковник в армии), при послевоенном переводе сотрудников НКВД и НКГБ на армейские звания 9 июля 1945 года Серов получил чин генерал-полковника.
В 1941 году при эвакуации части аппарата НКВД в Куйбышев и Свердловск И.А. Серов оставался в Москве. 13 октября 1941 года он был назначен начальником охраны НКВД Московской зоны.
К осени 1941 года относится еще одно правительственное поручение Серову, продиктованное неуверенностью Сталина в том, что Москву удастся защитить: предстояло заминировать, а при необходимости — взорвать многие транспортные и промышленные объекты, в том числе метрополитен. В декабре 1941 года И.А. Серову поручили наблюдение за работой созданных 28 декабря специальных лагерей по проверке и фильтрации бывших военнослужащих Красной армии, вернувшихся из окружения и немецкого плена.
27 августа 1941 года приказом НКВД СССР Серов был назначен начальником оперативной группы по выселению немцев из Саратовской области.
В 1942 году И.А Серов дважды ездил в Ашхабад для проведения совещания оперативных работников НКВД, в Архангельскую и Мурманскую области для оказания помощи в оперативной работе местным чекистам. Ему довелось побызать и на фронте: в апреле 1942 года он был направлен в Крым, а осенью — в части, оборонявшие перевалы Кавказского хребта.
В феврале 1943 года Серова командировали в Сталинград для руководства приемом в лагеря военнопленных солдат и офицеров капитулировавших немецких войск.
В 1944 году в прифронтовых районах Серов руководил массовыми арестами и депортацией гражданского населения, активно участвовал в операции по выселению чеченцев и ингушей, крымских татар.
В июле 1944 года Серов руководил арестами на территории Литвы, в августе 1944 года в Люблине занимался подавлением польского национального движения. 7 октября 1944 года И.А. Серов вылетал в Румынию для усмирения вышедшего из-под советского контроля румынского военного командования.
11 января 1945 года И.А. Серов был назначен уполномоченным НКВД СССР по 1-му Белорусскому фронту. Он должен был «проводить необходимые мероприятия, обеспечивающие выявление и арест шпионско-диверсионной агентуры германских разведывательных органов, террористов, участников различных вражеских организаций, повстанческих групп, независимо от национальной принадлежности и гражданства».
2 мая 1945 года И.А. Серов был назначен заместителем командующего 1-м Белорусским фронтом по делам гражданской администрации.
Приказом НКВД от 4 июля 1945 года И.А. Серов был назначен уполномоченным НКВД СССР по группе советских оккупационных войск в Германии (ГСОВГ). В то же время он работал заместителем Главнокомандующего ГСОВГ Г. Жукова по вопросам гражданской администрации. Серов подчинил себе все советские спецслужбы на территории советской зоны, в том числе и СМЕРШ.
Постановлением Совета министров СССР от 13 мая 1946 года И.А. Серова включили в члены спецкомитета, занимавшегося поисками материалов по реактивной технике и причастных к ее разработке немецких специалистов.
24 февраля 1947 года И.А. Серов был назначен на пост первого заместителя министра внутренних дел и в начале апреля возвратился в Москву. Ему поручили наблюдение за главным управлением пограничных войск, отделом контрразведки в МВД, отделом правительственной связи «ВЧ», управлением войск правительственной связи и специальными отделами — 1-м (учетно-архивным) и 2-м (фондом рассекреченных приказов). В июле 1948 года его обязанности несколько меняются. Он уже не курирует работу подразделений правительственной связи, переданных им из МВД в МГБ и 2-го спецотдела, поскольку вместо них образуется Главное управление по делам военнопленных и интернированных.