О том же свидетельствуют сохранившиеся его письма и донесения. Например, в письме к генерал-майору П.С. Потемкину от 22 июня 1775 года, вспоминая те же события, он пишет не без гордости, что «…при всяком случае все силы употреблял как к преодолению неприятеля, так в разсуждении ретраншамента и всех онаго укреплений, а наиболее воинской предосторожности в попечении и наблюдении нужного распорядка, так что не было никакого и малейшего предначертания ниже действий, в которых бы я совершенного участия не имел, ибо если я не больше, что из пристойности неприлично выговорить, то, по последней мере, не меньше самого коменданта во всех подробностях распростирался. О чем, уповаю, каждый из бывших в помянутой блокаде может по справедливости засвидетельствовать».
Более того, Крылов-старший был способен критически относиться к своим запискам, он отмечал, что стремился избегнуть длиннот и подробностей в повествовании, дабы «долгим чтением не наскучить», но не смог этого сделать, так как «материя (т. е. содержание рассказа — Е. П.) в сие пространство меня невольно завела». Он признавался, что для этого его перо недостаточно искусно и не без иронии сравнивал себя с известным журналистом и бульварным писателем Ф.А. Эминым, который видел одно из главных достоинств литературного произведения в краткости изложения, «но в самой вещи пространнее самого его никто еще не писал». Крылов завершил свое послание следующими словами: «…сделано сие мною не ради изъявления в повествованиях моей храбрости, но единственно в доказательство моего усердия и послушания, с которым в искреннем высокопочитании я имею честь быть и пр.». Разумеется, он, прежде всего, профессиональным военным, но при этом знал цену слову и, когда брался за перо, стремился сделать работу так же честно и хорошо, как нес свою службу, а это не так уж мало.
Андрей Прохорович принимал участие в суде над Пугачевым, позже ушел в отставку «по слабости здоровья», так и не получив никаких наград. В письме, опубликованном в «Отечественных записках», отмечает, что о некоторых событиях он вообще «порядочно и описать» не мог, так как не был их очевидцем «по причине болезни», вероятно, эта болезнь и спустя два года дала о себе знать.
Семья переехала в Тверскую губернию, где Крылов-старший поступает на службу сначала в палату уголовного суда Тверского наместничества, затем становится председателем Тверского губернского магистрата. Туда же он пристроил переписчиком бумаг 8-летнего сына, которого, вероятнее всего, сам же и научил грамоте. В Твери родился и младший сын в семье — Лев, которому так и не суждено было узнать отца.
Андрей Прохорович Крылов умер 17 (28) марта 1778 года оставив в наследство 9-летнему Ивану сундук с книгами.
Варвара Алексеевна Оленина, дочь Алексея Николаевича, оставила воспоминания о Крылове, в которых есть такое замечание: «Мать была почти гениальная женщина (по его словам), без малейшего образования, как было в то время». Как жаль, что Варвара Алексеевна ничего к ним не прибавила, не рассказала, какими воспоминаниями поделился с ней Крылов. Сам же Иван Андреевич, в отличие от Державина, не оставил не только мемуаров, а вообще ни одной строчки воспоминаний.
Но Варваре Алексеевне он все же кое-что рассказывал, поэтому она продолжает: «Была дружна со Львовых фамилией (отца Федора Петровича), которому обязан Петербург развитием вкуса к музыке. О том через знаменитую скрипку сына его Алексея Федоровича Львова известного. Крылов, играя с ними, играл на скрипке недурно, как говорили; но знал генерал-бас превосходно и потрудился меня кое-чему поучить на этот предмет. Рисовал недурно, понимал живопись прекрасно. Учился французскому, немецкому языкам. Выучился греческому в 50 лет, чтоб помогать Гнедичу в переводе Гомера; потом, выучившись хорошо греческому, через два года принялся за английский и в год выучился хорошо. Танцевать никак не мог выучиться и так был неловок, что учитель его танцеванья, выбившись из терпения, побежал ко Львову просить, чтоб его избавили Ванюши, что он предпочтет в тысячу раз взяться учить медвежонка маленького. Пишу по его словам».
Львовы — это та самая семья, с которой дружил, а потом породнился Державин. Старинный русский княжеский род, потомки Рюрика и князей Ярославских. Один из рода Львовых — Петр Петрович, — и заботился о его вдове и сыне. Его собственный сын Федор был всего на насколько лет старше Крылова, и оба мальчика учились вместе, по крайней мере, музыке и «основам наук».
Один из первых биографов И.А. Крылова, писатель начала XIX века М.Е. Лобанов рассказывает: «Крылов учился грамоте, а первым началам некоторых наук и языков в приязненном семействе Львова вместе с его детьми. Учение того времени, конечно, было ограниченное; тогда в России еще не много было средств для образования юношества; но малютка, щедро одаренный природою, во всем, к чему только прилежал, делал большие успехи. К изучению иностранных языков, как увидим впоследствии, он имел необыкновенную способность. Во французском языке первые уроки получил он от гувернера француза, жившего у тверского губернатора; потом продолжал учиться дома, сам собою, под надзором своей матери, Марьи Алексеевны, о которой он всегда вспоминал с любовью. „Она была простая женщина, — говорил он, — без всякого образования, но умная от природы и исполненная высоких добродетелей…“ Любопытно то, что мать его, чуждая всякого учения, даже грамотности, вмешивалась в его упражнения и, руководствуясь одною природною логикою, нередко поправляла его ошибки. Когда он читал ей переводы, она останавливала его иногда: „Нет, Ваня, это что-то не так! Возьми-ка ты французский словарь, да выправься-ка хорошенько“. Он исполнял приказание матери и действительно находил ошибки. Русские книги, частию духовные, частию исторические, также и словари в небольшом количестве были в их доме; притом он доставал у знакомых, что только можно было достать в Твери, и в то время приохоченный благоразумною матерью еще с детства к чтению, то ласками, то подарками, впоследствии, с возрастом, он пристрастился к этому занятию и с жадностию читал все, что ни попадалось ему в руки».