Иван Серов родился 25 августа 1905 года в деревне Афимская Вологодского уезда и губернии в семье старшего офицера, конного урядника полицейской стражи Кадомской тюрьмы. Серов всю жизнь скрывал, что его отец был жандармом.
В 1923 году Иван закончил среднюю школу в г. Кадников, и, несмотря на молодость, был избран членом волостного исполкома, а в 1925 году — кандидатом в члены РКП(б). Тогда же Вологодской губернский комитет РКП(б) направил его на учебу в Ленинградскую пехотную школу им. Склянского, где в 1926 году он был принят в партию. Закончив школу в сентябре 1928 года, Иван Серов служил в РККА: командиром взвода 66-го стрелкового полка (сентябрь 1928 — октябрь 1929), 22-го артиллерийского полка (октябрь 1929 — февраль 1931). Окончив разведывательное отделение Артиллерийских курсов усовершенствования комсостава в Ленинграде (1930–1931), он был командиром взвода разведслужбы 9-го корпусного артполка (февраль — декабрь 1931), помощником командира батареи разведслужбы (декабрь 1931 — март 1934), помощником начальника штаба 24-го артиллерийского полка (март — ноябрь 1934).
Как и многие красные командиры, Серов решил не ограничивать свое образование военной школой. В ноябре 1934 года он поступил на подготовительный курс Военно-инженерной академии им. В.В. Куйбышева, в мае 1936-го перешел на основной факультет Военной академии им. М.В. Фрунзе, а закончил в мае 1939 года специальный факультет ВАФ. Но еще во время учебы в январе 1939-го его направили сначала в распоряжение Разведупра РККА, а затем НКВД СССР. В том же году в первом сборнике «Трудов Академии» был опубликован его реферат «Войсковая разведка японской армии».
После смещения в ноябре 1938 года В. Ежова новый нарком внутренних дел Л. Берия начал чистку кадрового состава госбезопасности, и в НКВД открылось множество вакансий. В условиях острой нехватки кадров на руководящую работу в органы госбезопасности в конце 1938 и начале 1939 года пришло многочисленное пополнение из партийных, совегских и комсомольских органов, выпускников вузов и слушателей военных академий. Майор Серов попал в их число, и 9 февраля 1939 года был сразу назначен на высокую должность заместителя начальника Главного управления рабоче-крестьянской милиции (ГУРКМ) НКВД СССР.
Благодаря особому расположению Берии карьера Серова развивалась стремительно: уже 18 февраля 1939 года он стал руководителем всей милиции Советского Союза — начальником ГУРКМ НКВД СССР. 15 февраля 1939 года ему присваивается специальное звание майора госбезопасности, а 30 апреля — старшего майора госбезопасности (комдив в армии).
Ответственная должность и незнакомая работа поначалу ошеломила Серова. В начале 1939 года в аппарате НКВД шли постоянные разоблачения прежнего «вражеского руководства», и новый начальник не остался в стороне, приняв активное участие в поисках «врагов».
По воспоминаниям бывшего начальника Управления Рабоче-Крестьянской милиции Казахстана М. Шрейдера, находившегося в 1939 году под следствием в Москве, на один из допросов вдруг явился Серов. Поговорив о пустяках, он бесхитростно объяснил, зачем пришел: «Вот вы, например, очень могли бы помочь мне, новому в органе человеку… если бы разоблачили работников Главного управления милиции, участвующих в вашем контрреволюционном заговоре. Ведь поймите, я чувствую, что окружен врагами, и не знаю их».
Руководителем милиции Серов проработал недолго. 29 июля 1939 года его назначают начальником 2-го Отдела Главного управления Государственной безопасности (ГУГБ) и одновременно заместителем начальника ГУГБ НКВД СССР. В его задачи входила борьба с антисоветскими элементами и враждебными лицами в государственных учреждениях, чекистское наблюдение за наукой, литературой и искусством, борьба против руководителей духовенства, бывших партийных оппозиционеров и т. д. Отдел, руководимый Серовым, назывался «секретно-политическим».
2 сентября 1939 года И.А. Серова назначили наркомом внутренних дел Украины. Через два дня приказом НКВД ему присвоили специальное звание комиссара Госбезопасности 3-го ранга (в армии — комкор).
Оказавшись на Украине, Серов включился в советизацию захваченных СССР польских земель. Он подолгу бывал во Львове и лично руководил арестами и «чисткой» города от «буржуазных и польских националистических элементов». Во Львове он вел вполне светскую жизнь, посещая рестораны и театры.