В то время как землевладельцы становились сильнее, крестьяне вряд ли могли процветать. Свободные земледельцы X в., которые жили в общинах и платили налоги напрямую государству, теперь почти ушли в прошлое. Обычный крестьянин был paroikos – фактически крепостной, который обрабатывал землю, принадлежавшую монастырю или крупному землевладельцу. Когда земля переходила в другие руки, такие крепостные переходили в другие руки вместе с ней. Все налоги, ранее выплачиваемые государственным чиновникам, теперь собирал землевладелец, который мог передать их властям, а мог и не передать. Самые низшие категории paroikoi не были подданными государства и не имели доступа в общественные суды. Они сильно страдали от угнетения со стороны своих землевладельцев. Приблизительно в 1197 г. султан Коньи создал колонию для византийских беженцев неподалеку от Филомелиона и гарантировал ее обитателям освобождение от налогов и благоприятные условия пребывания там. Целые византийские общины добровольно перешли границу, чтобы жить в этом полурае. В 1204 г. латинян-завоевателей радушно встречали во многих местах, но бывших византийских аристократов, бежавших в нищете и наготе из оккупированной столицы, крестьяне делали объектами для насмешек. Официальные попытки провести реформу ни к чему не привели; сельское население было отчуждено от империи.
Культурная жизнь в XII в. у каждого класса была своя. Крестьяне, не имевшие возможности ускользнуть от крепостной зависимости, имели только такую духовную жизнь, которую им могла предоставить церковь на своих богослужениях; низшие классы благоговейно относились к монахам как земным обитателям божественного города, и многие стремились попасть в монастырь в конце своей жизни. С другой стороны, аристократия жила в роскоши. Пиры и развлечения императора установили моду для его высокопоставленных подданных: пиры были обильными и долгими, и на них гостей развлекали шуты и акробаты. Охота была укоренившимся времяпрепровождением представителей высшего класса, а при Мануиле в Византию с Запада пришли рыцарские турниры. За пределами столицы находились приятные сельские места уединения для богатых. Никита Хониат сетовал, что развлечения Константинополя и побережья Мраморного моря пленяли императоров того времени и уводили их с полей сражений. Он считал мягкость и роскошную жизнь аристократии одними из главных причин краха империи. Люди из высшего общества были обычно хорошо образованны; каждый писатель предполагал, что его читатели знакомы с произведениями Гомера и Библией. По праздничным случаям звучали замысловатые речи в античном стиле, полные ученых ссылок. Была сделана попытка использовать в качестве литературного языка аттический греческий, очень далекий от языка народа. Местом, где сходились и дворянин и простолюдин, были суеверия: все ходили к прорицателям, которые могли предсказывать то, что должно случиться. Астрология, которая пользовалась покровительством при дворе императора Мануила, сохранила свою популярность и при его преемниках. Сомнения и неуверенность в выживании отдельного человека и государства побуждали людей делать эти искренние попытки прочесть будущее.
В этой сложной общественной ситуации зародились политические партии. Появление латинян как основной силы внутри империи ускорило образование союзов, основанных на экономических интересах. Работники и купцы Константинополя, по которым жестоко ударяла конкуренция с освобожденными от налогов итальянцами, были настроены против латинян и хотели выдворить их из империи. С другой стороны, крупные землевладельцы нашли доступный рынок на Западе для своей сельскохозяйственной продукции, особенно растительного масла и вина, и зависели от итальянских купцов в плане перевозок и сбыта. Поэтому землевладельцы благоволили к латинянам и защищали их при дворе. Магнаты также желали ослабить императорский контроль для обретения большей независимости на местах; чтобы сохранить свою власть, чиновничество было против такой децентрализации. Таким образом, бюрократический аппарат в столице оказался в антилатинском лагере городских жителей в противовес пролатински настроенной аристократии при дворе и в сельской местности. Эти две фракции выражали скорее два разных мнения, нежели были организованными политическими партиями, но у каждой был широкий план будущего империи. Столкновения этих взглядов формировали политическую историю Византии в конце XII в. Как только исчезла защищающая рука императора Мануила, итальянские купцы как центр бушующих разногласий получили все основания полагать, что для них теперь наступят тяжелые времена. Но они были далеко не беспомощными и, в конечном счете, навязали свою волю разгромленной Византийской империи.