Жизнь была не сладка, конечно, не только для негров, но и для большинства белых, особенно для тех, кого презрительно называли «белой дрянью». В маленьком Ганнибале не было крупных богачей, там отсутствовали те чудовищные контрасты между нищетой и роскошью для немногих, которые мучили Твена в конце его жизни. Но «демократия», коей гордились многие обитатели западных штатов, была буржуазной демократией, и с каждым годом социальное неравенство не уменьшалось, а возрастало. Когда некий врач представил властям Ганнибала счет за лечение одной бедной семьи, «отцы города» решительно отказались его оплатить. Нищая семья, в которой на всех взрослых и детей имелось лишь одно одеяло, была описана в начале 50-х годов в газетке, которую редактировал брат Твена — Орион Клеменс. Нищенствовали и Бланкеншипы. В заметках Твена, которые не вошли в собрание его сочинений, есть такие строки «Бланкеншипы. Родители — нищие, пьяницы. Девушек обвиняют в проституции — не доказано. Том — добрый молодой язычник. Бенс — рыбак. Дети не посещали ни школу, ни церковь». Проживали Бланкеншипы рядом с Клеменсами, в доме, похожем на заброшенный амбар.
В Ганнибале любили рассказывать разные истории о речных пиратах, хозяйничавших в тех местах: например, о Морреле. Их время прошло. Но такие дельцы, как Стаут и Биб, обирали людей не менее энергично, чем Моррел. Порою они тоже лишали жизни своих жертв, не прибегая, однако, к ножу и пистолету. Был случай, когда местный богач воспользовался и пистолетом. Он застрелил неугодного ему человека, и это не повлекло за собой никакого наказания. Обстоятельства гибели «дяди Сэма»— старика Смарра, запомнились Твену на всю жизнь. Смарр, как показал один свидетель во время допроса (его вел судья Клеменс), «был не менее честным человеком, чем любой другой житель штата». Ни для кого он не представлял опасности, но открыто выражал свое отрицательное мнение о местных богачах сомнительной репутации. Он обвинял в мошенничестве Айру Стаута и другого состоятельного дельца — Уильяма Оусли, который, как иногда заявлял Смарр под влиянием винных паров, обобрал двух его друзей.
Решив отомстить, Оусли вооружился пистолетом и, встретив Смарра на улице, дважды выстрелил в него с четырех шагов. Твен рассказывает, что на грудь умирающего положили старинную библию, которая, не давая ему дышать, увеличила его мучения и ускорила агонию. Сэму было тогда девять лет. Как и все обитатели Ганнибала, он долго жил воспоминаниями об этом убийстве. Иногда по ночам ему казалось, что он задыхается под давящей тяжестью огромной книги.
Оусли был привлечен к суду лишь год спустя. Богатство и связи помогли ему избежать тюремного заключения. Суд оправдал преступника, и друзья привезли его из соседнего городишка, где происходил процесс, с восторженными криками. Твен рассказывает в своих «Деревенских жителях, 1840—43», что общественное мнение заставило Оусли вскоре покинуть Ганнибал. Однако имеются данные, что и семь лет спустя он преспокойно продолжал вести там свои торговые дела.
Это не единственный случай убийства в Ганнибале за годы детства и юности Твена. Через городок с его сравнительно крупным речным портом тысячи переселенцев направлялись дальше на запад, к Тихому океану, а это создавало обстановку ажиотажа, нервозности.
Переселенцы на Дальний Запад стали особенно часто появляться в Ганнибале к концу 40-х годов, после захвата американцами — в результате войны с Мексикой — новых огромных территорий в западных областях континента и открытия знаменитых калифорнийских золотых россыпей. Надо сказать, что Ганнибал не только служил важным перевалочным пунктом на пути в Калифорнию, но и сам поставлял немалое количество переселенцев в районы Дальнего Запада. В апреле 1849 года местные газеты писали, что улицы Ганнибала переполнены повозками, в которых переселенцы надеются добраться до Калифорнии. Среди людей, отправившихся тогда на Запад, было около восьмидесяти обитателей городка. Уехали местный врач, аптекарь, муж учительницы, редактор газеты. В начале 50-х годов численность населения графства Марион, в которое входит и городок Ганнибал, уменьшилась на несколько сот человек — и все за счет эмиграции в Калифорнию.
В Ганнибале росла преступность. Сэму Клеменсу неоднократно приходилось видеть, как жажда наживы и спиртные напитки, которыми переселенцы глушили страх перед неизвестностью, превращали иных из них в диких зверей. Чуть ли не с каждым пароходом — а ежедневно у ганнибальской пристани останавливалось с полдюжины речных судов — в городок прибывали шулера, воры, мошенники, искавшие простаков с деньгами в местных «кофейных домах».