Усадебный дом Мантусов был построен прадедом Александра Модестовича — Петром Михайловичем — возле старого дома, срубленного ещё первым Мантусом. Тот старый трёхчастный дом, более напоминающий крестьянскую избу, чем жилище помещика, простоял полтора века, от Адама до Александра Модестовича, и был крепок, сух и светел, и продолжал служить — являлся не только кровом для прислуги, но и пристанищем для «не очень благородных гостей» Александра Модестовича, в основном — приболевших крестьян, нуждающихся в продолжительном лечении, а также был прибежищем для случайных путников, попросившихся на ночлег. Часть хозяйственных построек — амбар, гумно, погреба — также вышли из-под топора неутомимого Адама; древесина их, казавшаяся снаружи сплошь изъеденной древоточцем, была, однако, крепкой, и от времени сделалась настолько твёрдой, что даже после сильного удара обухом топора на ней не оставалось сколько-нибудь заметной вмятины; другая часть — истопка, лямус и иное — представляла собой позднейшие постройки. Усадебный дом, возведённый Петром-строителем, был двухэтажный на каменном цоколе, деревянный, оштукатуренный, с деревянным же портиком на четыре колонны и двумя боковыми лестницами; колонны портика, сделанные из еловых брёвен и оштукатуренные, заканчивались капителями незамысловатой резьбы, на коих уже держался также еловый, но побелённый антаблемент; завершался портик треугольным фронтоном с гербом Мантусов, вылепленным из глины и окрашенным, — на голубом фоне красно-охряный трилистник, знак гармонии (по преданию, эти листочки клевера, плотно прилегающие друг к другу, изображали триединство символов: чистоты, милосердия и просвещения — просвещения, должно быть, в качестве пожелания тёмному Адаму в тёмные времена). Дом поставлен был на невысоком взгорке, и из открытой галереи и окон фасада открывался вид на отлогий спуск к реке Осоти; от торцов же здания двумя гигантскими крыльями простирался пейзажный парк — клёны, каштаны, липы, лиственницы, берёзы — живописными тенистыми аллеями, отдельными группами или одиночно стоящие посреди лужка, с укромными уголками, потайными беседками, романтическими видами и неожиданными перспективами.