Существовало 250 лавок и 40 лавочных мест, 44 кузницы и 7 харчевен. Церквей в городе сохранилось 20. Три из них стояли в крепости; пять - в Новом остроге; десять находились на территории Старого острога и две - в слободах. Вся застройка, включая и церковные здания, была деревянной.
Не сразу удалось калужанам справиться с последствиями разгрома города. В челобитной 1631 г. калужский воевода жаловался: «… в Калуге, где воеводы стоят, на дворе две избы, да у ворот избенка, да и те худы; и клети на том дворе, где рухлядишко положить, и погреба, и мыльни, и городьбы около двора нет».
Проводимая московским правительством в середине XVII в. конфискация «белых» земель (т. е. освобожденных от уплаты оброка) положительно сказалась на восстановлении Калуги: в 1649 г. население соседнего богатого торгового села Спасского, бывшего до этого времени вотчиной боярина Романова, было переведено «на посад» в Калугу. Переселенцам предоставили места за острогом в районе Жировокого оврага, и население города увеличилось чуть ли не вдвое.
Во второй половине XVII в. город почти полностью оправился после постигших его бедствий: современники восторженно отзывались о красоте Калуги.
Большое впечатление она произвела и на Павла Алеппского, сопровождавшего антиохийского патриарха Макария во время его путешествия в Москву в 1654 г. «Этот город очень многолюден, красив и открыт…»; «…он весьма велик, больше Путивля и также расположен на краю горы. В нем тридцать благолепных, прекрасных церквей; их колокольни легкие, изящные, приподняты, как минареты; купола и кресты их красивы» - писал Павел Алеппский. Далее он упоминает о только что построенной Воскресенской церкви - первом каменном сооружении города «…как бы висячей с окружной галереей, как все их церкви», отметив таким образом типичное для русского культового зодчества того времени гульбище на арках подклета, окружающее храм. В своих записках Алеппский указывает на характерную черту русского города XVII в. - живописность его силуэта, создаваемую контрастным сочетанием высоких шатровых коло-колен и разнообразных выразительных завершений церквей с низкой рядовой жилой застройкой.
Антиохийские гости оценили красоту панорамы города,, которая открывалась с реки. «Река течет с края города; она очень широка и глубока. Городская крепость стоит на вершине высокого холма… с прочными башнями»; «…издали мы любовались на Калугу, которая обширна и величественна».
Моровая язва, в течение трех месяцев свирепствовавшая в Калуге с осени 1654 г., нанесла новый удар процветавшему городу; около двух третей населения вымерло. Но уже к 1671 г. в Калуге насчитывается снова свыше тысячи обитаемых дворов. Бойко торговали в рядах. Из художественных ремесел особенное развитие получило серебряное дело.
Роспись 1687 г.*, составленная воеводой Иваном Лаврентьевичем Полуэктовым, дает наглядное представление о быстром развитии города во второй половине XVII в. и его архитектурном облике. На сравнительно небольшом плато между двумя оврагами возвышались стены деревянного Кремля («город рубленый, покрыт тесом») с 12 башнями. Общая протяженность почти правильного четырехгранника стен равнялась примерно 1,5 км. Крепостные стены имели высоту около 4 сажен, а башни - от 5 до 7. Выше других были угловые шестигранные и три проезжие башни. Над всеми возвышалась пятиугольная в плане дозорная Ильинская надвратная башня юго-восточной стены. Рядом с ней на стене висел вестовой колокол под четырехскатным шатром. От Ильинской башни через ров вел широкий дубовый мост длиной около 27 сажен, за которым начиналась большая Тульская дорога. Такой же мост длиной около 10 сажен был перекинут через ров у Покровской проездной башни северо-восточной стены. Ворота в шестигранной Водяной башне выводили к Оке. Между Водяной и южной угловой башнями был устроен «тайник» (подземный ход к реке). Остальные башни были глухими и, по-видимому, прямоугольными в плане. [* Встречающаяся во многих изданиях датировка этой росписи 1685 г. объясняется тем, что в этом году Калугу «мерил и описал писец стольник Михаил Савин». Но вследствие жалобы калужан на неправильные действия Савина в 1687 г. воеводе И. Л. Полуэктову было поручено еще раз проделать эту работу.]
По данным Полуэктова, при нем были сменены только отдельные сгнившие венцы у некоторых башен. Никаких других ремонтных работ не производилось. Даже обрушившийся тайник был оставлен засыпанным. К этому времени калужская крепость уже утратила свое былое значение, и московское правительство не считало нужным тратить средства на поддержание ее в боевой готовности. Когда в конце XVII в. сгорели крепостные стены и все башни, за исключением Ильинской, укрепления Калужского кремля уже больше не восстанавливались.