Дипломатично, чтобы не обидеть Шепелева, Травин сообщил, что без согласия матери Андрюши он не решается сделать такой важный шаг, как определение дальнейшей его судьбы, и просит отложить решение до разговора с матерью. Генерал нашел довод убедительным. Только теперь Травин изложил просьбу о содействии в получении более длительного отпуска. Шепелев обещал, и вскоре разрешение было получено, правда, не на год, как просил Травин, а лишь до мая 1751 г. Как ни огорчительно было обоим челобитчикам сокращение срока просимого отпуска (особенно болезненно воспринял его Андрей), положительные эмоции все же взяли верх: как-никак, а впереди полгода отпуска, за это время сколько воды утечет.
Нимало не мешкая, отправились путешественники из Петербурга в дальнюю дорогу. Была уже поздняя осень, с холодными дождями, и они с трудом добрались до кашинской деревни Травина в Тверской губернии. Отдохнув там немного у любимой сестры, Андрюша снова тронулся в путь, теперь уже один с обозом, и наконец очутился дома под родительским кровом и материнским крылом.
Вскоре, воспользовавшись случаем, когда ближайшие родственники съехались в Дворяниново на празднование рождества, мать Андрюши собрала семейный совет, на котором решила обсудить с родичами сложившуюся ситуацию. Присутствовавший на совете Травин рассказал о посещении Шепелева и его предложениях.
Ни мать, ни другие родственники не увидели в этих предложениях ничего хорошего и сочли самым целесообразным добиться отпуска Андрюши из армии до его совершеннолетия.
Особенно настаивала на этом соседка по имению Матрена Ивановна Аникеева, родная сестра Тараса Ивановича Арсеньева, уверяя, что ее брат может серьезно помочь в этом деле. В результате решено было направить в Петербург, в Военную коллегию человека с ходатайством об увольнении Андрюши из армии до совершеннолетия для завершения образования. Посыльным выбрали самого надежного и умного из обслуживающего персонала — «дядьку» Артамона, под неусыпным надзором которого рос и воспитывался Андрюша. В начале нового 1751 г. Артамон уехал.
Наступили дни томительного ожидания. Прошел месяц, по расчетам пора бы уже вернуться посыльному, а его не было. Прошел еще месяц, чувствовалось приближение весны, а об Артамоне ни слуху ни духу. Чего только не придумывали досужие старушки, объясняя его долгое отсутствие: и заболел-то он дорогой, и лежит где-нибудь страдая, и утонул, переезжая опасную речку, и убили его в каком-нибудь темном лесу разбойники. Слушая эти россказни, мать Андрюши сходила с ума. Особенно ее беспокоило неумолимое приближение срока возвращения сына в армию, если в просьбе будет отказано.
Велика же была радость всех, когда Артамон наконец вернулся. Радость еще более увеличилась от сообщения, что путешествие закончилось успешно, и Военная коллегия предоставила Андрюше увольнение из армии до наступления шестнадцати лет для «окончания наук на своем коште» (т. е. без какой-либо оплаты по армии). Мать была полностью вознаграждена за мучительные дни ожидания. Теперь три с лишним года ее любимец будет с нею. Правда, Тарас Иванович прислал с Артамопом письмо, в котором настаивал на том, чтобы она направила Андрея в Петербург, где он пмел возможность устроить его в хорошее место для получения должного образования. Но для матери это было бы слишком тяжким испытанием, и она оставила сына в деревне.
Не так уж много времени потребовалось Мавре Степановне, чтобы понять ошибку, которую она совершила, оставив сына в деревне. Она видела, как Андрюша все больше и больше увлекается детскими забавами на улице, играми со сверстниками, походами в лес, купаньем и т. п. Все это ему было интереснее, чем сидение дома за книгами, заучивание немецких и французских слов. С каждым днем все труднее становилось матери усаживать сына за книгу, принуждать его брать в руки карандаш или перо.
Да и не всегда пребывание на улице и игры с ребятами заканчивались благополучно. Иной раз приходил Андрей домой в таком виде, что старался не попадаться матери на глаза: или грязен был с ног до головы, или в разорванной одежде, а то и с кровавыми ранами на теле. Позднее Андрей Тимофеевич в своих записках упомянет о нескольких подобных случаях.