В анонимных письмах его призывали отказаться от борьбы. «Брось, Чарли, — зло писала бостонская «Морнинг пост», — иначе пришьют: похоже на местные разборки». Другая газета, высказываясь в том же ключе, называла его «сыном мелкого торговца». Опасаясь за его популярность, некоторые американские друзья тоже советовали в будущем не поднимать этого вопроса; наверное, Форстер поступил бы так же, будь он рядом.
Верный себе, Диккенс не обращал никакого внимания на эти предостережения. Вместо того чтобы отступить, он выпрямился во весь рост и перешел в атаку на другом банкете, в Хартфорде: «Я так кипел от негодования, думая об этой чудовищной несправедливости, что мне казалось, будто я ростом в двенадцать футов, когда я заставил их проглотить эту пилюлю». До самого конца своего пребывания в Америке он не упустит ни единого случая высказать свою точку зрения, получая попутно поддержку от других, более просвещенных газет, типа «Нью-Йорк трибьюн».
Эти юридические дрязги как будто не затронули широкую публику: жители Нью-Йорка устроили Диккенсу такой же триумфальный прием, как и бостонцы, однако они сильно задели его самого. И хотя его очаровал этот город — его вид, буйное оживление и яркие краски, свиньи, гуляющие на свободе, как тот боров, который «бредет, похрюкивая, вдоль водосточной канавы, подбирая городские новости и сплетни в виде кочерыжек и потрохов», хотя он с удовольствием увиделся там со своим другом, великим романистом Вашингтоном Ирвингом (другом в то время, поскольку позже Ирвинг тоже назовет Диккенса «возмутительно вульгарным в своем обличье, своих манерах и своих мыслях»), он там заболел. «Я смертельно измучен жизнью, которую здесь веду, — измучен телом и душой, — и совершенно утомлен и несчастен», — жаловался он. Не лишив его решимости, невзгоды подорвали его дух. Кроме того, долгожданные письма из Лондона, которые сообщили бы, в том числе, новости о детях, всё не приходили: Кэт умирала от тревоги. Надоедливые посетители, любопытные, которым было плевать на их потребность уединиться, — всё это сильно раздражало Диккенсов. Побывав на первом «балу Боза» и узнав, что под этим знаком почитания скрывалось крупное коммерческое предприятие (организаторы установили немыслимую плату за вход), на следующий прием Чарлз не пошел. Заручившись поддержкой своего преданного американского секретаря Джорджа Патнэма, он решил продолжить свое путешествие без малейшей огласки.
«Американские записки» Диккенс написал по возвращении в Англию, в каком-то смысле «остынув». Он попытался примирить в них, мягко говоря, противоречивые впечатления от поездки. И всё же его рассказ явно основывался на письмах, которые он посылал друзьям, и следовал их хронологии, а потому, в смягченной форме, отражал его резкую перемену по отношению к американцам.
Начиная с описания Нью-Йорка, в рассказе появляется язвительность. Сначала из стыдливости, а потом (когда он понял, что его книга принимает тон обвинительного заключения), чтобы не показаться неблагодарным, он тщательно замалчивает свой триумф. Говоря о Новой Англии, он много распространяется о посещении заведения для слепых детей и образцового завода Лоуэлла, и его отчет об этих визитах строго положительный. Американская система социальной защиты — организованная, рациональная, а главное, управляемая государством, — казалась ему тогда предпочтительнее частных инициатив, одноразовых и неупорядоченных, к каким сводилась английская благотворительность. Зато в Нью-Йорке осмотр тюрьмы с мрачным названием «Томбе» («Гробница») привел его в ужас. То же самое относится к исправительному дому в Филадельфии: Диккенс резко критикует новую систему одиночного заключения, которая там практикуется. Всегда испытывая затруднения, когда нужно примирить свои принципы и чувства, разрываясь между любовью к общественному порядку, который оправдывает в его глазах тюремное заключение, и сочувствием к каждому узнику в отдельности, каковы бы ни были его преступления, Диккенс пытается представить себя одним из них, воображает его страхи, его отчаяние, его бред. Хотя этот отрывок не является явно антиамериканским (скорее это размышление об одиночестве, безумии и смерти), видно, что настроение путешественника изменилось.