Ему пришлось ехать в глубь огромного по площади Острогожского уезда — зимние квартиры для 11-й конноартиллерийской батареи отвели в слободе Белогорье, в 85 верстах от Острогожска, еще дальше на юг по Богучарскому тракту. Эта слобода располагалась на высоком берегу Дона, где широкая сухая степь обрывалась меловыми уступами, в которых вода и ветер за века упорной работы наделали множество причудливых пещер.
Когда окончательно выяснилось, где именно будет квартировать какой взвод и где расположится штаб роты, Рылеев закончил хлопоты и постарался найти для себя местечко подальше от начальства — в слободе Подгорное, что на двадцать верст ближе Белогорья к Острогожску. Здесь тоже была степь. Маленькая речка Россошь разделяла довольно большой поселок надвое. Рылеев снова, как в Вижайцах, поселился в «хате» и твердо решил как можно больше времени отдавать работе — то есть чтению и писанию.
Тем не менее он завел немало знакомств в Белогорье и Подгорном — с помещиками Астафьевым, Лисаневичем, Бедрагой, Куколевским. Среди них были весьма незаурядные люди, такие, как широко образованный, свободомыслящий и честнейший Владимир Иванович Астафьев, пытавшийся бороться с губернской рутиной, но в конце концов бросивший все дела и впавший в безысходную тоску. Другой новый знакомец Рылеева — Михаил Григорьевич Бедрага — был героем Отечественной войны, соратником поэта-гусара Дениса Давыдова, он был тяжело ранен во время Бородинского сражения и жил в отставке в родовом имении возле Белогорья. С Бедрагой Рылеев был, по-видимому, откровенен — делился замыслами, читал ему новые стихи, посвятил ему несколько стихотворных посланий, прозаический очерк («Еще раз о храбром Бедраге»), написанный в 1820 году уже в Петербурге.
Острогожский уездный предводитель дворянства Василий Тихонович Лисаневич также сблизился с Рылеевым. В начале 1820-х годов Рылеев и все эти лица объединились в борьбе за освобождение от крепостной зависимости талантливого юноши, а впоследствии профессора русской словесности и академика Александра Васильевича Никитенко. Были среди собеседников Рылеева и два священника — Иван Ставров и Иван Рудинский, оба начитанные и любознательные. Рудинский, например, интересовался английскими парламентскими речами, «мнениями» графа Мордвинова, одного из передовых русских сенаторов, во всяком деле боровшегося за справедливость, — все это священник, как и стихи разных авторов, ходившие в списках, переписывал для себя в тетради.
Но совсем особенное значение имело для Рылеева знакомство с Михаилом Андреевичем Тевяшовым, который еще в екатерининские времена вышел в отставку в чине прапорщика и после того лет тридцать почти безвыездно прожил в Подгорном. Это был небогатый помещик, не очень интересный человек, хотя умный и добрый. У него и его жены Матрены Михайловны были три сына и две дочери. Старшие сыновья, Алексей и Иван, служили в армии и мечтали выйти в отставку (что в скором времени и сделали), младший учился в одном из пансионов Харькова и потом перешел там же в университет. Дочерям в 1817 году было — Анастасии, вероятно, лет восемнадцать или девятнадцать, Наталии — шестнадцать. Рылеев полюбил бывать в этом семействе.
Старики занимались каждый своим делом — Михаил Андреевич дремал в кабинете за «Московскими ведомостями» месячной давности, Матрена Михайловна над своим рукодельем. Все их хозяйство — имение и дом — было в руках управляющего, их крепостного по имени Артамон. Дочери, несмотря на то, что уже были на выданье, ничему не учились и едва умели читать и писать.
«Рылеев первый принял живейшее участие в этих двух девицах и с позволения родителей принял на себя образование их, — пишет Косовский, — чтобы по возможности вывести их из тьмы… Рылеев употребил все усилия оправдать себя пред своею совестью: постоянно занимался с каждой из учениц, постепенно раскрыл их способности… В два года усиленных занятий обе дочери оказали большие успехи в чтении, грамматике, арифметике, истории и даже законе божием, так что они могли хвалиться своим образованием противу многих девиц соседей своих».
Шли дни, Рылеев увлекся ролью учителя, ему было приятно видеть, как его труд приносит плоды, и так скоро! Между тем он все более привязывался душой к младшей из учениц — Наталии Михайловне, смуглой, высокой, хрупкого сложения и тихого, доброго характера девушке. Он старался развлечь ее как мог — приглашал из Белогорья товарищей-офицеров, устраивал танцы, общую беседу, прогулки.
Чаще других приезжали в Подгорное прапорщик Федор Петрович Миллер, с которым Рылеев в это время тесно сдружился, Александр Иванович Косовский и два брата Унгерн-Штернберги. Иногда все это общество отправлялось в Белогорье. «Время проводим весьма приятно: в будни свободные часы посвящаем или чтению, или приятельским беседам, или прогулке, — пишет Рылеев матери, — ездим по горам и любуемся восхитительными местоположениями, которыми страна сия богата; под вечер бродим по берегу Дона и при тихом шуме воды и приятном шелесте лесочка, на противоположном береге растущего, погружаемся мы в мечтания, строим планы для будущей жизни и чрез минуту уничтожаем оные».