За исключением каменных храмов и великокняжьих палат, застройка Кремля была деревянной, и строения сильно отличались друг от друга в зависимости от достатка своих хозяев. Хотя простой московский люд — мелкие торговцы, ремесленники к тому времени селились в основном уже за пределами Кремля, на Посаде, кремлевское население было достаточно пестрым: великий князь и его семья, бояре, купцы, духовенство всякого чина, монахи и монашки, многочисленная великокняжья, боярская и купеческая дворня.
Многие зажиточные москвичи жили на Посаде, а в Кремле имели «осадные» дворы, куда переселялись, если городу грозил неприятель, чтобы пересидеть осаду с удобствами, на собственном дворе. Вообще же, в случае осады за кремлевскими стенами укрывались все москвичи, а нередко — и жители подмосковных сел. Одну такую осаду, когда под Москвой стоял крымский хан Магмет Гирей, в раннем детстве должен был пережить и Иван Федоров.
После свержения татаро-монгольского ига Золотая Орда распалась на несколько отдельных, сохранявших враждебное отношение к России государств, в том числе Казанское и Крымское ханства.
В 1521 году крымский хан Магмет Гирей с большим войском, в которое кроме крымцев входили казанцы, ногайцы и литовцы, двинулся на Москву. Василий III выслал навстречу врагу войско, во главе которого стояли младший брат самого великого князя Андрей и князь Дмитрий Бельский — молодые, неопытные в ратном деле, но преисполненные гордыни. Не слушая советов более опытных полководцев, они совершили ряд ошибок, позволили врагам переправиться через Оку, были разбиты и бежали. Враги подступили к самой Москве, оставляя на своем пути полыхающие селения, убивая или уводя в плен мирных жителей. Крымский хан, остановившись в великокняжеском подмосковном селе Воробьеве, пил мед из дворцовых погребов и с высоких Воробьевых гор смотрел на Москву, уже считая ее своей добычей.
Василий III поспешно покинул столицу и отправился в Волок собирать новое войско, оставив защитником Москвы своего зятя — Петра. Посадский люд, жители окрестных сел, спасаясь от врагов, устремились под защиту кремлевских стен. Среди них должна была быть и семья Ивана Федорова. Из-за жары и большого скопления людей в Кремле возникла угроза эпидемии. Защитники города рассчитывали на огнестрельное оружие, но неожиданно обнаружилось, что не хватает пороха, положение осажденных становилось угрожающим. Иные стали говорить, что Москва обречена, поскольку москвичи навлекли на себя гнев Божий.
Среди москвичей прошел слух, что одной из монахинь Вознесенского монастыря, что в Кремле, было видение: будто бы при погребальном колокольном звоне распахнулись двери кремлевских соборов и оттуда вышли все почивавшие там святители. Были они печальны и несли образ Владимирской Богоматери — древнюю русскую святыню, заступницу Русской земли. Медленным шагом направились святители к Фроловским воротам. Но вдруг путь им заступили святые Сергий Радонежский и Варлаам Хутынский, появившиеся со стороны Посада. Стали Сергий Радонежский и Варлаам Хутынский спрашивать святителей, почему те решили покинуть Москву и оставить москвичей без своей защиты. Святители ответили, что Господь повелел им уйти из Москвы, ибо москвичи забыли страх Божий, погрязли в грехах, и в наказание им Москва будет разорена врагами. Святые Сергий Радонежский и Варлаам Хутынский опечалились и воскликнули: «Будем молить Господа о прощении!» Стали они усердно молиться, и Господь смилостивился над москвичами, разрешил святителям не покидать Москвы.
И кремлевские стены выдержали осаду, крымский хан ушел восвояси.
Вокруг Кремля располагался Великий посад, далее шли слободы, однако и при Иване Федорове, и долгое время спустя москвичи называли «городом» только Кремль.