Древняя, но не родовитая семья Архаровых связывала свое начало с неким выходцем из Литвы, последовавшим на переломе XIV—XV вв. в Россию за князьями Патрикеевыми, потомками Гедимина. Служившие затем в московских дворянах, ни богатством, ни служебными успехами Архаровы не отличались. Два сына теперь уже каширского дворянина Петра Ивановича Архарова — Николай и Иван к тому же не получили и настоящего образования. Николай Петрович с 16 лет начал службу в Преображенском полку и сумел обратить на себя внимание графа Г.Г. Орлова, присланного в Москву в 1771 г. на эпидемию моровой язвы. По докладу графа императрице он неожиданно получил чин армии полковника и назначение московским обер-полицмейстером.
Доверие Екатерины II к деятельному администратору заходит так далеко, что императрица поручает ему участвовать вместе с А.Г. Орловым-Чесменским в похищении так называемой княжны Таракановой, а в дальнейшем — в розыске по делу о Пугачевском бунте. Ловкость и служебная изворотливость Н.П. Архарова входят в поговорку. О его умении раскрывать самые сложные и запутанные преступления узнает вся Европа. Знаменитый парижский полицмейстер времен Людовика XV Сартин пишет московскому коллеге, что, «уведомляясь о некоторых его действиях, не может довольно надивиться ему».
Высочайшие награды изливаются на Н.П. Архарова щедрым потоком. Он становится кавалером всех российских орденов, генерал-поручиком, назначается в 1782 г. губернатором Москвы, а в 1784 г. — генерал-губернатором Новгородского и Тверского наместничества. Н.П. Архарову везет даже в том, что в последние годы правления Екатерины II он оказывается в немилости и потому Павлом I сразу же возводится в генералы от инфантерии. Император снимает с себя Андреевскую ленту, чтобы возложить ее на Николая Петровича, и назначает Архарова вторым, после наследника престола, генерал-губернатором Петербурга. Получает он и две тысячи душ крепостных.
Иван Петрович, владелец усадьбы на Пречистенке, всего лишь бледная тень своего старшего брата. Благодаря его поддержке, скромный армейский подполковник, он производится Павлом I в генералы от инфантерии, получает Александровскую ленту, тысячу душ крепостных и назначение командиром московского восьмибатальонного гарнизона, иначе — военным губернатором старой столицы. Как губернатор он и занимает дом на Пречистенке. И хотя назначение оказывается очень недолгим — около года, — оно оставляет заметный след в истории Москвы. Набранные Иваном Петровичем полицейские драгуны были такими головорезами и так плохо ладили с законом, что в московском быту утвердилось понятие «архаровцы».
Однако быстрое возвышение привело к такому же стремительному падению обоих Архаровых. Оба они в 1797 г. снимаются императором со своих должностей и отправляются на жительство в Рассказово — богатейшее тамбовское имение Николая Петровича. Братья были очень дружны и даже в ссылке не пожелали расставаться. Вместе в 1800 г. они получают «прощение» и разрешение поселиться в Москве, но уже как партикулярные лица. Теперь дом Ивана Петровича становится одним из самых гостеприимных и хлебосольных в старой столице. И без преувеличения, в нем бывает вся Москва. «Стол накрыт для званых и незваных» — Грибоедов вполне мог говорить и об архаровском доме.
М.И. Пыляев приводит два ходивших об Иване Архарове анекдота. «Встретив на старости лет товарища юности, много десятков лет им не виданного, он, всплеснув руками, покачал головой и воскликнул невольно: „Скажи мне, друг любезный, так ли я тебе гадок, как ты мне?“» Второй анекдот связан со слабостью Ивана Петровича к французскому языку, которого выучить ему толком не довелось. Приезжает к нему однажды старый приятель с двумя рослыми сыновьями, для образования коих денег не щадил. «Я, — говорит он, — Иван Петрович, к тебе с просьбою: проэкзаменуй-ка моих парней во французском языке. Ты ведь дока...» Иван Петрович подумал, что молодых людей кстати спросить об их удовольствиях, и попытался перевести на французский фразу: «Милостивые господа, как вы развлекаетесь?» Однако языковые тонкости ему были недоступны: сказанное им имело совсем иной смысл: «Милостивые господа, хотя вы предупреждены...» «Юноши, — пишет Пыляев, — остолбенели. Отец стал их бранить за то, что они ничего не знают, даже такой безделицы, что он обманут и деньги его пропали, но Иван Петрович утешил его заявлением, что сам виноват, обратившись к молодым людям с вопросом, еще слишком мудреным для их лет».