Елизавета Николаевна Львова, дочь Николая Львова и жена Федора Львова, рассказывает семейные предания, касающиеся Крылова: «Иван Андреевич Крылов жил долго в доме у Николая Александровича Львова, где он был принят двенадцатилетним мальчиком по бедности; отец его был бедный тверской дворянин и, не имея возможности воспитывать сына своего Ванюшу дома, отдал его Петру Петровичу Львову, который умным мальчиком занимался, учил чему мог, а между тем, как Ванюша вырос и сделался расторопным молодым человеком, всегда был чисто и пристойно одет и как в доме Петра Петровича людей было мало, то часто, как гости бывало приедут, то кто-нибудь из хозяев и скажет: „Ванюша, подай в гостиную поднос с чаем“, и Крылов ловко исполнял желание хозяев и получал благодарность от доброго и умного Петра Петровича. Потом Крылов отправлен был в Петербург и уже там известен стал всей России своими прелестными баснями. Часто посещал он и наш дом, хотя решительно никогда не упоминал о доме Петра Петровича; может быть, очень самолюбие его страдало, вспоминая, что он служил там иногда как лакей, и не мудрено, что он никогда об этом и не говорил, но всегда был в доме Федора Петровича Львова самый близкий человек; почти всегда у нас читал он свои новые басни и любил часто у нас обедать, потому что простой наш стол и нецеремонный прием всегда ему нравились».
Сложно понять, что в этих рассказах правда, а что — обычные семейные легенды и байки. Ясно одно: Крылов учился «понемногу, чему-нибудь и как-нибудь», но вовсе не из-за лености и легкомыслия, как Онегин, а по причине нехватки денег. Он продолжал работать там, где мог найти работу: служил в Калязинском уездном суде, потом — в Тверском губернском магистрате.
В 1782–1783 годах 15-летний Крылов с матерью и младшим братом Львом решают перебраться в Петербург. На первых порах им помогает Николай Александрович Львов. Они поселяются в казармах Измайловского полка. К сожалению, мать Крылова вскоре умирает, брат остается на его попечении. Левушку определили в юнкерскую школу Измайловского полка, а Иван находит работу в Казенной палате — учреждении Министерства финансов, которое занималось всем казенным управлением, сбором налогов и пошлин, управлением государственным имуществом и строительством. Жалование положили 25 рублей в год — это очень мало, хватает только на то, чтобы не умереть с голода. Работа его была похожа на работу Акакия Акакиевича — бесконечная переписка документов. Но если бедный чиновник Башмачкин умел находить даже какую-то странную радость в своем монотонном труде, у него были буквы-любимцы, «до которых, если он добирался, то был сам не свой: и подсмеивался, и подмигивал, и помогал губами, так что в лице его, казалось, можно было прочесть всякую букву, которую выводило перо его», то юного Крылова такие маленькие радости едва ли радовали. Но Петербург был перед ним, со всеми обольщениями большого города. И Иван Андреевич увлекся театром, познакомился с актерами и с директором — генерал-майором П.А. Соймоновым. И скоро осмелел до того, что написал первую пьесу.