Голодали и защитники осажденного Яицкого городка, им приходилось есть мясо убитых лошадей. К счастью, хотя был уже апрель, но снег еще не растаял, трупы вмерзли в лед, что сохраняло мясо относительно свежим. Капитана Крылова несколько раз вызывал на переговоры осаждавший город атаман Перфильев, предлагал сдаться. Но Крылов, видимо, был невысокого мнения о способности бунтовщиков держать свое слово. Вместо того, чтобы обсуждать условия сдачи он стал уговаривать Перфильева вспомнить о своей присяге и покинуть Пугачева.
Осаду крепости снял 16 (27) апреля 1774 года подоспевший на выручку корпус генерала П.Д. Мансурова. Заслуги капитана Крылова никак не были отмечены, все награды достались его начальнику Ивану Даниловичу Симонову, тому самому, что? по словам Пушкина? «оробел», увидев наступавших мятежников, произведен в полковники и награжден имением с числом душ крестьян более 600. Конечно, Пушкин, когда писал свою «Историю», пользовался рассказами Ивана Крылова, но другие мемуаристы тоже вспоминали трусость Симонова и храбрость Крылова.
У пятилетнего Ивана осталось мало воспоминаний о днях осады, зато он помнил, как они с матерью вернулись в Яицкий городок и целыми днями играли в войну. Пушкин записал его рассказ: «После бунта, Ив. Крылов возвратился в Яицк.<ий> г.<ородок>, где завелася игра в пугачовщину. Дети разделялись на две стороны, городовую и бунтовскую, и драки были значительные. Кр.<ылов>, как сын капитанский, был предводителем одной стороны. Они выдумали, разменивая пленных, лишних сечь, отчего произошло в ребятах, между коими были и взрослые, такое остервенение, что принуждены были игру запретить. Жертвой оной чуть было не сделался некто Анчапов (живой доныне). Мертваго, поймав его, в одной экспедиции, повесил его кушаком на дереве. Его отцепил прохожий солдат».
Юному Крылову, как и Державину, суждено провести детство в глухой провинции. Чин отца давал право только на личное дворянство, а значит, его дети оставались в мещанском сословии, по крайней мере до тех пор, пока не поступят на государственную службу. Но на какое место мог рассчитывать провинциал, без знатности, без денег и без связей?
Однако нельзя сказать, что отец ничего не оставил в наследство сыну. Когда мы думаем об офицере XVIII века, служащем в провинции и не в самом высоком чине, то, скорее всего, представляем себе кого-то вроде одного из героев все той же «Капитанской дочки» — Ивана Игнатьича, «кривого гарнизонного поручика», который, «по препоручению комендантши… нанизывал грибы для сушения на зиму» и давал Петруше Гриневу такие советы: «…он вас в рыло, а вы его в ухо, в другое, в третье — и разойдитесь», или самого капитана Миронова — добряка и честного человека, а в трудную годину — героя, но отнюдь не интеллектуала. Тогда откуда у Крылова взялись «отличные в российской словесности познания»?
Один очень неожиданный источник дает нам возможность предположить, что Андрей Прохорович Крылов — один из тех провинциалов, которым хватило ума и упорства, чтобы самообразовываться, когда его ничто к этому не побуждало и не располагало. В журнале «Отечественные записки», издаваемом известным литератором П.П. Свиньиным, в 1824 году напечатали на 43 страницах анонимные записки очевидца осады крепости в Яицком городке пугачевцами — «Оборона крепости Яика от партии мятежников», которые привлекли внимание Пушкина, как раз работавшего над созданием «Истории Пугачева».
Заинтересовались этой записью и советские исследователи, и один из них — Р.В. Овчинников, убедительно доказал, что «Записки» являются отрывком из письма, автором которого являлся Андрей Прохорович. Письмо написано в Яицком городке «по горячим следам» — 15 мая 1774 года, слог его ясный, описания точные, они выдают человека знакомого с интеллектуальным трудом, умеющего излагать свои мысли на бумаге. И вместе с тем повествование о трудных днях осады написано без лишнего пафоса, простым языком, автор часто вставляет в свой рассказ пословицы или просто присловья: «смерть, по пословице, и праведника страшит…», «о наступавшем в нашей крепости в пропитании недостатке можно было и бестолковому б уразуметь» и так далее. Это живой рассказ, написанный для заинтересованного слушателя, о тех событиях, которые глубоко волнуют и его, и автора.