Двух младших дочерей, Агату и Аню, Юлия Яковлевна за несколько лет до кончины отправила жить к своему престарелому отцу в Викторовку. Яков Алексеевич овдовел, и некому было вести его хозяйство. Вдвоем со своим преданным денщиком большую часть времени он проводил дома.
Агата, старшая, вела домашнее хозяйство, отвечала за различные соления и заготовки. Младшая, Аня, умная и образованная девочка, читала деду вслух получаемые им газеты. Яков Алексеевич любил слушать внучку, сидя в мягком кресле и закутавшись в теплый плед. На это занятие уходило много времени, так как дедушка требовал читать честно, все подряд. Как он говорил: «От доски до доски!» У него была большая библиотека со множеством французских романов, которыми увлекалась взрослеющая Анна.
Любил дед баловать внучек. Зная эту его слабость, в усадьбу часто наведывались заезжие «торговцы-венгерцы». Яков Алексеевич покупал своим любимицам все — от духов и пудры до дорогих меховых вещей. Себе же каждый раз брал шелковой материи «на смертный халатик». Чем больше дед старел, тем больше впадал в детство и все чаще говорил о смерти. Он мог часами сидеть возле своего денщика, по древности лет подолгу не слазившего с теплой печки. Изредка он окликал старого слугу: «А что, Павлюк, какая нынче погода?» И тот, не глядя за окно (зима ли, лето), отвечал, глубоко вздохнув и почесав в затылке: «Видать, позёмная поперла!»
Иногда дедушка устраивал смотр своим «смертным» халатам. Случалось, посылал один тяжкому больному или покойнику. Однажды Яков Алексеевич приказал изготовить для него гроб. Делать было нечего — заказали. Когда гроб привезли, он установил его в прихожей и лег в него, чтобы проверить, подходит ли по размеру. Смотром Яков Алексеевич остался доволен, но прежде чем отправить гроб на чердак, приказал, чтобы местный священник его отпел. Ему очень хотелось услышать, какие слова о нем будут говорить после смерти. Но священник возмутился и счел просьбу старого барина богохульством. Дедушка осерчал, долго сидел в своем кабинете и плакал, причитая: «Вот до чего я дожил: и панихиду по мне не хотят петь». На ту пору умер престарелый дворовый по имени Яков. Заказали ему панихиду и устроили торжественное отпевание со свечами и певчими. Чувствительные дворовые бабы и девки плакали в голос. Церемония прошла в благолепии, пристойности и высоком трауре. Старый барин остался доволен. Видимо, душа его уже просилась к Богу. Вскоре он и впрямь скончался, завещав имение двум своим любимицам, Агате и Анне. Анне на ту пору исполнилось восемнадцать лет, Агате — тридцать. За год до смерти дедушки она вышла замуж за жандармского офицера Владимира Павловича Покровского. В мае того года, когда умер дедушка, у Агаты Ивановны родился сын Борис. Сестры решили продать дедово имение и получили по восемь тысяч рублей — по тем временам огромные деньги. Анна вернулась в Слепнево, отложив деньги себе на приданое.
В Слепнево периодически наведывалась и Агата. Личная жизнь у нее складывалась неудачно. В семье Львовых служба в жандармском корпусе не считалась почетной, поэтому родственники не особенно жаловали Владимира Павловича. Муж Агаты Ивановны частенько выпивал и буянил. Тогда она забирала сына и уезжала в Слепнево. Там она оставалась до тех пор, пока Владимир Павлович не присылал ей свои слезные раскаяния.
В 1876 году старший брат Анны Яков умер. Девушке пора было всерьез подумать о своей судьбе. Анна любила детей и легко находила с ними общий язык. Четыре года добровольного заточения в слепневской усадьбе зародили в душе девушки огромное желание изменить свою жизнь, протекавшую так уныло. Правда, пребывание в сельской местности, вдали от городской суеты определило характер Анны Ивановны, которая в любых ситуациях оставалась спокойной и рассудительной.
Когда осенью 1876 года в имение приехал с женой брат Лев, Анна обрадовалась. Брат завел с ней задушевную беседу, нажимая на то, что пора ей подумать о своем будущем. Семя упало в подготовленную почву. Лев Иванович рассказал ей о своем друге Степане Гумилёве, о том, какое с ним приключилось горе. Девушка увидела особый знак в том, что покойную жену незнакомого ей морского офицера тоже звали Анной. Так что в Москву Львовы приехали с серьезными намерениями. Анну не смущало, что жених старше ее на целых восемнадцать лет. Раз брат говорил ей о нем — значит, человек он достойный. Теперь, когда она потеряла отца, мать, старшего брата Якова, Лев стал для нее единственным авторитетом.