Женские образы в романе разнообразны и содержательны. Доброжелательно, даже с симпатией изображает писатель старую госпожу Цзя, ее естественность и доброту. Сметлива и деловита Фэнцзе, обаятельна сирота Дайюй, автор находит оправдание излишней ее чувствительности и вспыльчивости. Выделяется обхождением с людьми и рассудительностью Баочай. Самоотверженность – заметная черта служанки Сижэнь. Сестры Баоюя начитанны, отмечены печатью высокой духовности и благородства. Все это говорит о весьма возвышенном понимании женщины в жизни общества. Характерно, что параллелью таким возвышенным описаниям нередко являются иронические, а порой уничижительные характеристики мужчин (невежественность, огрубелость чувств и т. п.). Однако писатель далек от слепой идеализации женского мира. В женских образах также отражается глубокая конфликтность жизни Большой Семьи, которая заложена и в поведении мужчин. Вспомним характеристики комментатора Ван Силяня. Не менее иронически он относится и к женским персонажам романа. Так, у госпожи Ван, матери Баоюя, есть вроде бы добродетели, но они «не настоящие», так как эта женщина лишена своего мнения и крайне подозрительна. Что касается ее талантов, то они самые ординарные. А вот оценка Фэнцзе: у нее нет добродетелей, поэтому она талантлива, однако же «талант ее ложный». Ван Силянь считает, что у Дайюй «ноле души очень узкое», а сама она находится во власти «безрассудных чувств», а потому ее добродетели «на самом деле являются призрачными». Действительно, женские персонажи таят в себе большие нравственные изъяны. Например, у той же Фэнцзе решительность переходит во властность и непомерное честолюбие, а услужливость граничит с лицемерием. Она может быть не только хитра, но коварна и жестока (за промашку служанки она дает ей двадцать батогов и обещает «переломать кости»). Именно она является инициатором «большого обмана» Баоюя. Есть и просто омерзительные типы женщин (некая госпожа Цзиньгуй – жена Сюэ Паня). Важное место в сюжете романа занимают образы Линь Дайюй и Сюэ Баочай. Являясь антиподами по положению в семье, характеру, интеллекту и проявлению чувств, они своим поведением и образом мыслей выражают и подчеркивают противоречивость мира семьи Цзя.
Многие страницы романа посвящены жизни обитателей «нижних этажей» красного терема. Это многочисленные слуги, прислужницы, приживалы и приживалки, мамки и кормилицы, монахини и прочие. Хотя они и находятся на периферии основного сюжетного действия, однако их присутствие существенно обогащает картину нравов и является безусловной заслугой писателя. По существу впервые в прозе предстает художественное изображение большой социальной группы людей со своей жизнью и интересами. Палитра художника являет здесь великое многообразие красок. Одних показывает он с несомненной симпатией, других с сарказмом, третьих явно осуждает или презирает, в любом случае подчеркивает униженность существования этих людей, их забитость и беззащитность, но вместе с тем и возвышенность души у многих из них. Убедительны сцены чудовищных несправедливостей, чинимых в отношении челядинов, страшна заурядность жестокого обращения «высших» с «низшими», в которой изобличена ущербность блистательного мира Семьи. Но и симпатизируя многим «низшим», автор не стремится к тому, чтобы у читателя сложилась некая идиллическая картина их поведения. Они не только жертвы, но подчас и соучастники зла, которое творится хозяевами. Они поражены теми же недугами, теми же пороками. Многие из них с ожесточением грызутся между собой за выгодное положение в доме, стремясь приблизиться к тому или иному хозяину, урвать кусок пожирнее. Слуги, приживалы, нахлебники подсиживают друг друга, нашептывают один на другого, ставят ловушки. Неприглядная картина нравов среди челяди подчеркивает нестабильность внутренних устоев дома Цзя.
Распад семьи происходит прежде всего из-за внутренних противоречий, которые ее разъедают, что убедительно показал автор. Однако падение Дома происходит и под влиянием внешних обстоятельств. Писатель, конечно, вспомнил драматические события, случившиеся в его собственной семье. Он показал эти «внешние факторы» как бы вскользь, но они вполне ощутимы. В одной из глав, например, говорится об убийстве, в котором оказывается замешанным один из членов семьи. Другой герой обвиняется в хищении казенных денег. Возникают неприятности в семье Чжэнь, которая связана с кланом Цзя тесными узами. Все эти «внешние обстоятельства» болезненно отражаются на общей атмосфере в доме, разрушают его благополучие. Роковую роль сыграл обыск в Доме по распоряжению двора, о чем говорится в последней части романа. Чэн и Гао, конечно, сознательно включили этот и другие эпизоды, – не только потому, что знали историю семьи Цао, но и потому, что хотели логически увязать содержание первой части с концовкой, подчеркнуть конфликтность романа, который пронизан ощущением грядущей драмы.