Анна Осиповна Жидкова, жена адъютанта наказного атамана Оренбургского войска, рожденная Иванова, сумела привлечь к себе Перовского, но последствием этого было то, что муж ее, переведенный адъютантом к Перовскому и быстро пошедший по служебной лестнице, разошелся с женою, возвратил ей полученный в приданое капитал и уехал в Петербург к своему бывшему начальнику графу Цукато.
К свите Перовского должно еще причислить домашнего его доктора, которым был сначала врач из Москвы Павлов, разошедшийся с Перовским из-за одной неудачной операции и замененный политическим ссыльным Круневичем, который после смерти Перовского был назначен лейб-медиком; кроме того, в состав свиты входил еще живописец для снятия видов во время походов.
Вся эта масса чиновников каждый день обедала в квартире Перовского, пила и ела на его счет, а вечером расходилась по частным домам, ежедневно принимавшим гостей; таких домов было достаточно. Некоторые предпочитали дворянское собрание, где шла каждый вечер карточная игра.
В первый год приезда в Оренбург, в Николин день, (тезоименитство императора Николая Павловича) Перовский в дворянском собрании дал бал, какого не видал еще Оренбург и который стоил до 2 т. руб. Приглашенных была масса. Буфет был открыт для всех. Шампанское подавалось всякому, кто желал. Ужинать могли, начиная с 11 часов, каждый но своему желанию. Другого подобного бала в собрании не было, а балы устраивались в генерал-губернаторском доме. Я бывал почти на каждом балу. Ужин всегда был общий. Перовский, как и прежде, редко досиживал до конца бала, а уходил много раньше в свой кабинет, отдыхал и снова появлялся среди своих гостей. Он страдал удушьем и один раз припадок был так силен, что накануне св. Пасхи исповедывался и причащался; у заутрени не был, но все из церкви после обедни поехали к нему и разговлялись, как всегда, в изобилии поставленными кушаньями и напитками.
В конце мая и по сентябрь Перовский уезжал на кочевку, где жили на его счет многие из лиц его свиты, остававшиеся в городе, а другие уезжали в свои имения или просто в отпуск. Одно лето (1853 г.) Перовский не жил на кочевке, потому что предпринял военную экспедицию против Кокана. Предположено было взять все коканские крепости по р. Сыр-Дарье и главную цитадель Ак-Мечеть, где жил коканский бек, собиравший зякет с киргиз. Поход быль трудный и представлял много опасностей. Коканцы имели артиллерию и взятие Ак-Мечети штурмом потребовало бы значительного пролития крови. Для избежания этого нужна была правильная осада, а для последней — требовалось везти все принадлежости из Оренбурга чрез голодные степи. Перовский, помня свои неудачи в хивинском походе 1839 г., был крайне осторожен и вникал лично во все приготовления экспедиции. Войска были всех трех родов оружия: пехота, кавалерия и артиллерия, а также несколько понтонных лодок. Начальником всего отряда, состоявшего под главным начальством самого Перовского, был назначен атаман Оренбургского казачьего войска генерал-майор Иван Васильевич Подуров. Для перевозки тяжестей отправлены были команды башкир, а верблюды взяты у киргиз. Войско благополучно дошло до Ак-Мечети, расположилось перед крепостью, и начались траншейные работы, доведенные до крепостного вала; затем произведен был взрыв стен и в образовавшееся отверстие штурмующие колонны вошли в город. Это было 28 июля 1853 г.
Внутреннее управление краем за это время не было ничем ознаменовано. При вступлении в должность Перовский не говорил речи и во все время управления ни с кем не совещался, не собирал комитетов; дела решались или согласием его с докладчиком, или по его указанию. Начальники отдельных частей, предварительно возбуждения ходатайства о благоустройстве в их ведомстве, лично объяснялись с Перовским и поступали по его указаниям. Чтобы удержать такую подчиненность, Перовский подбирал начальниками людей более или менее одних с ним взглядов на дела и управление. Командующим башкирским войском был назначен Вятский губернатор Середа, который вскоре по приезде в Оренбург скоропостижно умер. Его заменил Оренбургский губернатор Балкашин. Наказным атаманом Оренбургского войска был назначен Ив. Вас. Подуров, человек правдивый, честный, умный и хорошо знавший войско.
Перовский в башкирах и Оренбургских казаках находил много непорядков, вредно действовавших на их благосостояние; для устранения их принимались различные меры.
Башкир он нашел бедными, почти обнищавшими сравнительно с тем положением, в котором они были в 30 гг. Распоряжениями Обручева и Жуковского башкиры были стеснены в свободе кочевок, перестраивали свои деревни по планам, принуждаемы были к занятию земледелием, но все эти распоряжения оставались большею частью на бумаге.