С течением времени возрастало число и значение вольноотпущенников. Одни рабы, более состоятельные, сами выкупались на волю, других отпускали господа по самым различным причинам: или в награду за верную службу; или ради выгоды, считая более прибыльным использовать повинности, которыми отпущенники были обязаны бывшим хозяевам, чем непосредственно эксплуатировать труд рабов; или из нужды, так как не имели возможности прокормить своих рабов, иногда же ради упрочения своего социального престижа и влияния за счет увеличения количества клиентов, в число которых поступали и отпущенники. Отпущенники римских граждан получали римское гражданство, хотя и с ограниченными правами (они не могли избираться на магистратские должности и служить в армии), были обязаны отрабатывать на патрона известное число дней в году, завещать ему часть своего состояния, а если патрон был беден, содержать его и его детей. В большинстве своем это были бедняки, нанимавшиеся на работу, занимавшиеся ремеслом и мелочной торговлей и т. п. Но некоторые вольноотпущенники, прежде всего в тех городах, где особенно оживленной была «деловая жизнь», становились крупными предпринимателями и богачами. Стремясь использовать и расположить к себе и эту категорию собственников, императоры привлекали богатейших отпущенников к отправлению императорского культа. В городах империи из них формировались коллегии так называемых августалов, занимавших некое промежуточное положение между сословием декурионов и городским плебсом. Сыновья отпущенников-августалов, уже родившиеся свободными полноправными гражданами, становились землевладельцами, декурионами, а иногда добивались и сенаторского звания. Даже два римских императора Пертинакс и Диоклетиан были сыновьями отпущенников.
Еще более пестрым был состав свободнорожденных, среди которых также основное деление на граждан и неграждан в римские времена последние назывались Перегринами а — отступало на задний план перед делением на имущественные категории.
На всех этапах существования Рима по-прежнему сенаторы составляли высшее сословие. Из сенаторов назначались консулы и другие общегосударственные магистраты, должности которых сохранялись со времен республики, но при империи стали лишь почетными, из сенаторов же назначали наместников провинций и высший командный состав армии. Прохождение определенных ступеней военно-административной карьеры было обязательным для сенаторов, как и во времена республики, что создавало впечатление стабильности роли в государстве сенаторского сословия. Однако оно не оставалось неизменным. С начала установления империи представители старых аристократических римских родов все более вытеснялись в сенате «новыми людьми», сперва наиболее богатыми (сенатор должен был иметь состояние не менее чем в миллион сестерциев) землевладельцами Италии, а затем и провинций. Включались в сенат также люди, выдвинувшиеся на административной и военной службе. Тем не менее старые традиции этого сословия отчасти сохранялись. Сенат претендовал на участие в управлении государством и дележе государственных доходов, на решающий голос в вопросе о назначении правящим императором своего преемника, на всеобщее уважение. Как бы ни изменялся этнический состав сената, он продолжал считать себя носителем истинно римских устоев, поборником нравов и свободы предков. Хотя в сенате всегда было значительное число членов, лояльных по отношению к императорскому режиму, борьба между сенатской оппозицией и императорами то затухала, то достигала чрезвычайной остроты. Сенаторы, недовольные политикой того или иного императора, его «тираническими устремлениями», ограничением их прав и привилегий, интриговали против него и его приближенных, пытались поднять восстание, устраивали заговоры, нередко кончавшиеся убийством не угодного им «тирана» и преданием проклятию его памяти. Со своей стороны императоры казнили заподозренных в измене, конфисковывали их имущество, высылали их родных и друзей, охотно принимали доносы на неугодных им людей от различных соглядатаев, вплоть до рабов. К сенатской оппозиции, особенно деятельной в I и III вв., принадлежали многие историки, философы, писатели, сочинения которых дошли до нас и дают нам достаточно яркое представление об идеологии и влиянии на тогдашнюю культуру этой группы.
Другим сохранившимся от полисных времен социальным слоем был плебс, также претерпевший ряд изменений и утративший былую относительную однородность. Если в ранний период римской истории большинство плебеев было крестьянами, считавшимися, так сказать, солью римского народа (не владевшие землей городские ремесленники и торговцы были гражданами второго сорта), то теперь положение изменилось. Многие из крестьян утратили свои участки и вынуждены были арендовать землю у крупных собственников. Еще сохранившиеся мелкие землевладельцы влачили довольно жалкое существование, пребывая в постоянном страхе перед богатыми и влиятельными соседями, присваивавшими общественные леса и пастбища, закабалявшими, разорявшими крестьян ростовщическими займами и требовавшими от них повиновения и угодливой почтительности. В жизни городов крестьяне принимали все меньше участия и третировались как «деревенщина».
Оппозиционные существующим порядкам авторы обычно характеризовали плебс городов и особенно Рима как праздную, порочную чернь, склонную к мятежам и готовую прославлять любого «тирана», дающего ей «хлеб и зрелища». Однако такое представление, проникшее и в современную литературу по римской истории, далеко не соответствует действительности. Правда, беднейшая часть горожан получала как регулярные субсидии, так и экстраординарные раздачи от императоров, городских магистратов и богатых горожан городов по случаю различных празднеств, юбилеев, побед и т. п., а некоторая часть неимущих пристраивалась в качестве клиентов и прихлебателей — так называемых параситов — в богатые дома. Правда и то, что страсть к зрелищам и особенно гладиаторским боям по временам достигала исключительных размеров, а устройство таких зрелищ было верным путем к приобретению популярности. Но основная масса городского плебса состояла не из тунеядцев, а из работящих людей — ремесленников, наемных работников, продававших свой труд владельцам крупных ремесленных предприятий и строительным подрядчикам, поденщиков, исполнявших работу грузчиков, носильщиков, погонщиков мулов и лошадей и т. п., обслуживающего персонала при различных городских и государственных предприятиях, мелких торговцев.
Верхушку плебса составляли крупные торговцы, ввозившие и вывозившие товары не только в пределах империи, но и далеко за ее границами, ростовщики, также часто ведшие крупные дела по займам, депозитам и перечислениям, собственники крупных ремесленных мастерских, строительные подрядчики, арендаторы различных отраслей государственного хозяйства. Обычно, нажив достаточно большое состояние, они вкладывали часть его в покупку имений, так как только владение землей давало им социальный престиж, возможность занять городские выборные магистратуры и продвинуться в высшие сословия.
Хотя римские сатирики любили избирать мишенью своих насмешек «выскочек» из «сапожников» и «трактирщиков», процент плебеев, достигших успеха, был невелик. Основная их масса вела весьма скромное, если не нищенское существование и вместо некогда обязательного для гражданина участия в общественной и политической жизни получала суррогат в виде участия в различных профессиональных и религиозных корпорациях, в так называемых коллегиях маленьких людей, образовывавшихся с дозволения правительства и функционировавших под надзором патронов из состоятельных граждан, пользовавшихся доверием властей. Основным видом деятельности таких коллегий было погребение неимущих сочленов и устройство на членские взносы и пожертвования патронов совместных трапез в дни императорских юбилеев и семейных праздников патронов, выражение верноподданнических чувств императорам и благодарности патронам посредством сооружения их статуй с соответствующими надписями.
Разница между «простонародьем» и «благородными» со временем все более углублялась и становилась не только фактической, но и юридической. Так, например, «благородных» нельзя было подвергать телесным наказаниям, допрашивать под пыткой, приговаривать к работе в рудниках, распятию на кресте, тогда как в отношении «простонародья» все это стало допускаться. За обиду, нанесенную «благородному», карали тяжелее, чем за оскорбление плебея, свидетельские показания первого на суде имели больше веса, чем второго, и т. д.