Его родина — село Дольское, Калужской губернии, Покосившиеся курные избы с почерневшими соломенными кровлями тянулись в этом селе двумя однообразными рядами вдоль дороги в уездный городок Малоярославец. Над селом возвышалась старая деревянная церковь с облупленным куполом; у погоста, в домике дьячка Ивана Федорова Баженова родился будущий знаменитый архитектор. Произошло это 13 марта 1737 года.
Низшее сельское духовенство по своему бесправию мало отличалось от крепостного крестьянства. Наглядное представление дает описание разговора между помещиком Болотовым и пономарем сельской церкви.
— О, — воскликнул Болотов, когда к нему привели в чем-то провинившегося пономаря, — когда ты на духовное свое правление надеешься, то я тебе докажу, что я его не боюсь, и выпорю тебя, сколько душе моей угодно… Ложись-ка, ложись!
Вот от такого помещичьего произвола, от беспросветной нужды и тьмы деревенской жизни Иван Баженов и стремился в Москву.
Дьячок Иван Баженов обладал изрядным басом, пел «достойно есть яко во истину» и «иже херувимскую» с такой силой, что дрожали лампады и мигали свечи перед «чудотворцами».
Случайно проезжавший московский барин обратил внимание на незаурядный бас и, будучи любителем церковного пения, порекомендовал дьячка в Москву, в кремлевскую придворную церковь.
Москва пылала. Языки пламени лизали черные тучи дыма, скрывшие весеннее голубое небо. Пожар, начавшийся в церкви Иоанна Предтечи, охватил соседний дворец и перебросился в Кремль. Под мрачный набатный перезвон и стук трещоток горели терема, дворцы, церкви. С колокольни Ивана Великого падали колокола, у царь-колокола бревном отбило край.
Из охваченного пламенем Кремля обезумевший от ужаса народ бежал в Замоскворечье. Но пламя, словно дикий исполинский зверь с огненными космами, перебрасывался со строения на строение. Уже пылал Китай-город. Ни стены, валы и рвы города, ни окружавшие его реки Неглинная и Яуза не могли остановить огненного потока. Рухнули в воду обгорелые мосты. Народ спасался вплавь и тонул. Горели палаты, дворцы и теснившиеся между ними курные избы. Огонь переливался по крышам домов на Покровке, Мясницкой, Сретенке, Тверской, Никитской, Арбате…
Народ бежал, задыхаясь от удушливого дыма и смрада обгорелых трупов. Полицейские и подьячие под страхом жестокого наказания пытались организовать тушение пожара, остановить буйство огня, но тщетно: три дня и три ночи пылала Москва. Как память об этом пожаре, в народе сохранилась пословица: «От копеечной свечи и Москва сгорела».
Это произошло в конце мая 1737 года.
В опустошенную пожаром Москву приехал дьячок Иван Федорович Баженов с женой и трехмесячным сыном Василием.
Вскоре после их переезда снова вспыхнули пожары: голытьба, доведенная до последнего отчаяния, поджигала уцелевшие дома дворян и купцов. По приказу императрицы, поджигателей ловили, пытали, заставляли называть сообщников и затем всех сжигали живьем…
Московская полиция доносила сенату, что в городе «множество помету и всякого скаредства, от чего соседям и приезжающим людям, особенно в летнее время, может быть повреждение здоровью».
Поселились Баженовы вблизи Кремля. Полуразрушенные казенные и частные здания, церкви без кровель, гнездящиеся на пустырях, наскоро поставленные избушки — первые впечатления подраставшего ребенка. По описанию избы соборного певчего можно представить домашние условия Баженовых. Изба имела два больших слуховых окошка на улицу, третье — во двор. Печь большая и от нее полати. Специальный сход в полу около печи, так называемый голбец, вел в нижние кладовые, где хранились с'естные припасы и разный домашний скарб. Светлая, чистая горница с двумя окнами, с лавками вдоль стен и столом заменяла гостиную в богатых домах. Между передней избой и горницей — сени, и в них чуланы… Из сеней — выход на крыльцо, довольно высокое. На дворе — два сарая, коровник и небольшой огород.
Иван Баженов много пил и был тяжел на руку. Сына Василия он обучал грамоте по часослову и для скорейшего усвоения ребенком грамматики действовал указкой…
Когда Василий Баженов превратился в подростка, «недоросля», его отдали в Славяно-греко-латинскую академию, называвшуюся в XVIII веке «Эллинской школой». Обычно родители помещали туда детей неохотно. Но действовал высочайший указ: «Набрать в школы всех поповских детей, а которые во учении быть не хотят, тех имать в школы и неволею».
Мать плакала, когда отец отводил сына в Академию, что помещалась на Никольской улице в Заиконоспасском монастыре. Каменное, унылого вида трехэтажное здание было обращено фасадом к городовой стене. Через «звонковую» башню лестницы вели на деревянные хоры среднего и верхнего этажей; с хор выходили двери в классы — мрачные комнаты с тяжело нависшими сводами. В большом зале богословского класса висел портрет царя Федора.