Военную службу Черевин начал, как тогда и полагалось всякому приличному человеку, в Кавалергардском полку. За одиннадцать лет, проведенных в полку, он прошел путь от корнета до полковника. Следующий важный в своей карьере шаг Черевин сделал уже с помощью М.Н. Муравьева, в комиссии которого по расследованию покушения Д.В. Каракозова он оказался. Муравьев как председатель следственной комиссии оценил административные способности Черевина и рекомендовал его императору.
В 1867 году Черевин становится флигель-адъютантом Е.И.В., а затем зачисляется в Свиту Его Величества. В мае 1869 года Александр II назначает Черевина командиром Собственного Е.И.В. Конвоя. Петр Александрович командовал Конвоем до 1878 года. В турецкой кампании 1877–1878 годов на него было возложено командование Кавказской казачьей бригадой, с которой он не раз отличался на полях Болгарии. Co дня перехода через Дунай до самого последнего момента войны бригада постоянно действовала в авангарде армии. За боевые отличия он 17 октября 1877 года был произведён в генерал-майоры Свиты Его Величества. За свои многочисленные боевые отличия Черевин дважды был удостоен золотого оружия с надписью «За храбрость», причём вторая сабля была с алмазными украшениями. В августе 1879 года он был награждён орденом св. Георгия 4-й степени. Боевая храбрость сочеталась в генерале со склонностью к спиртным напиткам, которой он не изменял даже в период боевых действий.
Тесные отношения с наследником престола завязались у Черевина, скорее всего, во время службы в Конвое Е.И.В., так как конвойцы принимали участие в большинстве представительских мероприятий: встречах и проводах высокопоставленных особ, парадах и смотрах. Так или иначе, Черевин стал своим человеком в Аничковом дворце до такой степени, что здесь не только снисходительно смотрели на его склонность к вину, но и стали оказывать поддержку в карьерном продвижении.
В августе 1878 года единственная в России спецслужба, III отделение С.Е.И.В. канцелярии, понесла неожиданную потерю: среди бела дня в центре столицы был убит ее лавный начальник генерал-адъютант Н.В. Мезенцев. Все случилось утром 4 августа. В своем дневнике военный министр Д.А. Милютин записал:
«Сегодня утром в 10-м часу я был удивлен приходом ко мне некоего Бодиско, с которым некогда случилось мне познакомиться за границей. В смущении рассказал он мне, что был свидетелем только что совершившегося пред окнами его квартиры (на Михайловской площади) покушения на жизнь Мезенцова (Мезенцева. – В.Р.), который имел привычку по утрам гулять пешком в этой части города, вместе с приятелем своим Макаровым. Два неизвестных человека, подъехав в дрожках, бросились на Мезенцова и Макарова; один нанес кинжалом рану в грудь Мезенцову, другой выстрелил из револьвера в Макарова, но промахнулся, и оба, вскочив опять на дрожки, ускакали. Не случилось тут ни полицейского, ни даже извозчика, так что едва отыскали экипаж, чтобы довезти раненого домой» [9].
После ранения генерал прожил еще несколько часов, но к вечеру скончался. Убийство было явно политическим и было понято императором как устрашающий акт в свой адрес. Александр II был полон решимости достойно на него ответить. Похороны Мезенцева, в присутствии осударя и дипломатического корпуса, сопровождались воинскими почестями отборных частей русской гвардии. С новым назначением император не спешил, оставив управлять III отделением товарища начальника канцелярии, генерала Н.Д. Селиверстова. Мезенцев был убит так чисто, что даже не знали, кого и где искать. Несколько очевидцев убийства дали только общие описания скрывшихся убийц. На совещании у императора 9 августа были одобрены меры по пресечению вооруженного сопротивления властям или нападению на чинов полиции и войск. Все подобного рода дела передавались в юрисдикцию военных судов с рассмотрением их по законам военного времени.
На очередном докладе военного министра император затронул вопрос о замещении убитого Мезенцева. Присутствовавший при этом наследник- цесаревич «предложил своего кандидата – генерал-майора Черевина» [9]. Были, очевидно, и другие предложения относительно кандидатур на должность Главного начальника спецслужбы, но император остановил свой выбор на генерал-адъютанте А.Р. Дрентельне, старом, проверенном служаке, отлично проявившем себя на военно-административном поприще, но никогда не имевшем отношения к политическому сыску. Кандидатуру Черевина император не сбросил со счетов и в том же августе 1878 года отчислил его с должности командира С.Е.И.В. конвоя, «с зачислением в Свиту Его Величества, по Гвардейской Кавалерии».