Всё шло хорошо, но Герасимову не давало покоя неудовлетворённое честолюбие: хотелось сделать армейскую карьеру. Но как? Поступить в Академию Генерального штаба нереально — при тамошнем строгом отборе с целой системой труднейших экзаменов. И тогда Александр решил попробовать пойти другим путём — подать рапорт о переводе в жандармский корпус!
Попасть в это элитное подразделение было не многим проще, чем в Академию Генштаба: предстояло пройти собеседования, экзамены на право обучаться на специальных курсах, а закончив их, следовало вновь сдавать экзамены придирчивым специалистам. Требовалось обязательное знание иностранных языков, не менее шести лет службы в строю и самое главное — потомственное дворянство! А Герасимов, как уже говорилось, не мог похвастаться гордым званием дворянина, тем более потомственного. И тут возникает неразрешимая загадка. В конце 80-х годов XIX века, когда отбор в жандармский корпус осуществлялся как никогда строго и путь в него плебеям был накрепко заказан, простой казак Герасимов получил разрешение на перевод в жандармы!
Выдержав все испытания, цепкий, усидчивый, очень внимательный офицер Герасимов медленно стал подниматься по служебной лестнице в непростом деле российского политического сыска, где до него сломали шею очень многие. Уже в первые годы в новом жандармском офицере вдруг раскрылись незаурядные полицейские таланты, в том числе в агентурной работе, привлечении к сотрудничеству провокаторов и их успешном использовании в борьбе с террористами, что постоянно досаждали властям покушениями то на коронованных особ, то на великих князей, то на высших государственных сановников.
Особенно осложняться оперативная обстановка стала в начале XX века в обеих столицах — Санкт-Петербурге и Москве, где активно действовали законспирированные боевые организации эсеров и большевиков. Жандармский корпус, вопреки последующим утверждениям взявших власть в России коммунистов, был не столь велик: большевики намеренно преувеличивали силу и мощь врага, придавая этим большую значимость своей победе. Например, в 1917 году в Московском охранном отделении непосредственно работой с агентурой занимались девять жандармских офицеров, руководивших примерно тремя сотнями секретных агентов. Всего в период революционных событий 1917 года большевики арестовали шестьдесят семь жандармских чинов из Московского отделения, и это был практически весь его личный состав.
Жандармских офицеров в Российской империи, вынужденной вести изнуряющую и непримиримую борьбу с террористами, постоянно не хватало. Особенно в бурном 1905 году.
— Нужен твёрдый и решительный человек на посту начальника столичного охранного отделения, — сказал император Николай II министру внутренних дел. — Есть такой на примете?
— Есть, — подумав, ответил министр. — Александр Васильевич Герасимов.
Так судьба вознесла Герасимова не только к генеральским погонам и лампасам в жандармском корпусе, что само по себе ставило его в непосредственную близость к верховной власти в империи, но и дала ему возможность полностью проявить свои сыскные таланты. В феврале 1905 года Герасимов стал руководителем столичного политического сыска, заняв один из самых ответственных постов в русской политической полиции. Наиболее ярко он проявил себя в ноябре — декабре 1905 года, когда страсти накалились до предела, а департамент полиции никак не решался предпринять кардинальные меры против революционного движения.
— Они нас скоро развесят на фонарях, — заявлял Герасимов, имея в виду революционеров. — Мы должны железной рукой загнать их в тюрьмы и ссылки, а лучше — на виселицу! Или они нас, или мы их!
Его крайний радикализм пришёлся по душе министру внутренних дел Дурново, который хвалил Герасимова перед императором и всемерно поддерживал начинания шефа жандармов, особенно по части репрессивных мер, в известной мере сбивших революционный пыл. В дело быстро пошли не жалевшие патронов войска и карательные команды, а направляли их действия из корпуса жандармов, располагавшего негласной информацией.
— Дайте мне свободу рук! — требовал Герасимов.
— Позвольте ему действовать по собственному усмотрению, — наконец разрешил император.
Получив позволение устраивать политический сыск по собственному усмотрению, Герасимов развернул бурную деятельность. В это время его личным секретным агентом стал пресловутый Азеф, которого он использовал со стопроцентной отдачей, отправляя на эшафот и на каторгу одного революционера за другим. В период работы под руководством генерала Герасимова Азеф принёс наибольшую пользу охранному отделению и выдал два больших заговора. Генерал даже обещал ему пенсию в пять тысяч, если Азеф предупредит покушение на царя. Фактически Азеф «ходил» под руководством генерала Герасимова до 1909 года.