В своей семье Сайго был старшим из семерых детей — четверых сыновей и троих дочерей. Самый поздний из детей, Кохэй (1847–1877), был младше Сайго почти на двадцать лет. В одном доме с Сайго жили родители Китибэи, Сайго Рюдзаэмон (?—1852) вместе с женой (1775–1862), а также семья его младшего брата, так что максимальное количество домочадцев составляло шестнадцать человек. Доход Китибэи, как чиновника налогового управления, никогда не удовлетворял полностью его потребности на содержание семьи. Семейный дом в Ситанокадзия находился в плачевном состоянии и постоянно нуждался в ремонте. Поскольку не хватало спальных мест на всех членов семьи, Сайго спал со своими братьями под одним одеялом. Это было особенно неудобно из-за того, что все дети были крупными: когда мужчины Сайго вырастали, их рост обычно достигал шести футов (180 см). В 1855 году семья переехала на другой берег реки, в Уэносоно, но их новый дом оказался таким же ветхим. Невестка Сайго, Иваяма Току, вспоминала, что «дом в Уэносоно находился в очень плохом состоянии. Пол в нем прогнулся, как утиное гнездо».
Чтобы хоть как-то сводить концы с концами, семья Сайго брала часто взаймы и занималась сельским хозяйством. Так, например, в 1847 и 1848 годах Сайго Такамори и его отец одолжили в общей сложности 200 золотых рё у семейства Итагаки, которые были богатыми землевладельцами в округе Мидзухики, ныне представляющем собой часть города Кагосима. Это была огромная сумма, равная многолетнему доходу самураев или ремесленников. Семья Сайго не имела никакого дополнительного обеспечения, кроме своего имени, и ей не удавалось делать регулярные взносы в счет погашения долга. Только в 1872 году, когда Сайго получил пост государственного советника (ранги) в правительстве Мдйдзи, семья начала постепенно возвращать долг.
На одолженные деньги семья купила землю для возделывания. Дошедшие до нас записи достаточно скудные, но мы знаем, что семья владела по меньшей мере одним участком в Ниси бэппу, теперь расположенным в пределах городской черты Кагосима. Согласно налоговой ведомости, земля возделывалась владельцем, которым значился Сайго Китибэи. Иваяма Току вспоминала, что младший брат Сайго, Китидзиро, собирал в Ниси бэппу хворост, привозил его на спине вьючной лошади обратно в самурайский квартал и подавал от двери до двери. Неясно, приходилось ли когда-нибудь самому Та-камори стоять на рисовом чеке с мотыгой в руке, но как старший сын и наследник он был очень хорошо знаком с финансовой стороной семейного земледелия.
Даже с этим дополнительным доходом семья Сайго жила очень скромно. Женщинам самим приходилось заниматься стиркой и уборкой, и Иваяма позднее вспоминала, как однажды человек, заглянувший к ним в дом, по ошибке принял ее за служанку. Эти стесненные обстоятельства сформировали личность и философию юного Такамори. Его отец, Китибэи, формально считался полным самураем (см или дзокаси), и теоретически получаемого им жалованья должно было хватать на содержание семьи. Но на практике семья Сайго жила скорее как госи — экономически самостоятельные «сельские воины». Госи были потомками выходцев из самых низов воинского сословия, высланных в сельскую местность, где они контролировали крестьян. Как городской самурай, Сайго имел значительно более высокий статус, чем госи. Пропасть между истинным, городским самураем и госи была настолько велика, что любой самурай, которому показалось, будто бы госи каким-то образом задел его честь, имел законное право зарубить наглеца на месте. Поскольку самурай защищал свою честь, это не считалось оскорблением, и ему оставалось только убедить свое начальство в серьезности оскорбления. И вот, хотя юный Такамори, как полный самурай, являлся членом этой элиты, экономически он был значительно ближе к госи. Сайго приходилось постоянно сталкиваться с несоответствием между своим номинальным и реальным статусом.