Тетя Фанни вышла замуж за доктора Лэмерта и уехала в Ирландию, а Джеймс Лэмерт остался у Диккенсов и в июне 1822 года перебрался с ними в Лондон, где Джон Диккенс получил очередное назначение; Чарли оставили заканчивать четверть в школе. Он приехал к своим один: «Сколько прожито лет, а разве забыл я запах мокрой соломы, в которую упаковали меня, словно дичь, чтобы отправить — проезд оплачен — в Кросс Киз на Вуд-стрит, Чипсайд, Лондон. Кроме меня в карете не было других пассажиров, и я поглощал свои бутерброды в страхе и одиночестве, и всю дорогу шел сильный дождь, и я думал о том, что в жизни гораздо больше грязи, чем я ожидал».
Семья жила на Бейхем-стрит, 16, в новом растущем районе Кэмден-таун: неудобный дом в три этажа, но всего с четырьмя комнатами, в которых надо было расположить родителей, шестерых детей, квартиранта, горничную и «черную» служанку. Одиноко, скучно: впоследствии Чарлз едва смог вспомнить двоих соседей и друзей не завел. Мать водила к дяде, Томасу Барроу, брать почитать книги, с Джеймсом Лэмертом дома устраивали театр, отец посылал с хозяйственными поручениями (отдать вещи в чистку, починку, ломбард, купить что-нибудь), лето кончилось, а в школу Чарли не отдали. Он не мог понять почему.
Из автобиографии, написанной предположительно в 1845 или 1846 году: «Отца я всегда считал добрейшим и благороднейшим из смертных. Я не вспомню ни одного его поступка по отношению к жене, детям или друзьям в дни болезни или бед, который не заслуживал бы высочайшей похвалы. Он просиживал со мной, когда я болел, дни и ночи напролет, всегда неутомимый, всегда терпеливый, и так не день и не два… Он гордился мною на свой особый манер и с восхищением слушал мои комические куплеты. Однако по беззаботности своего нрава и в силу денежных трудностей он, очевидно, совсем позабыл тогда о моей учебе и даже в мыслях не имел, что я вообще могу что-то требовать от него в этом отношении. И вот мне осталось чистить по утрам ботинки ему и себе, помогать в чем нужно по дому, присматривать за меньшими братьями и сестрами (нас к тому времени было шестеро) и бегать по разным жалким делам, связанным с нашим жалким бытом».
Зимой 1823 года молодой Лэмерт съехал, найдя себе работу и жилье, а весной Фанни приняли в Королевскую академию музыки по классу фортепиано. Плата была высокой. Это было очень необычно по тем временам — деньги идут на обучение дочери, а не сына; может, если бы родители видели в Чарли какой-нибудь явный талант, все было бы иначе. А так он продолжал сидеть дома или болтаться по Лондону. Глаз у него был необычайно острый, воображение — бешеное; эта смесь породила городские очерки, написанные позднее. О лавках «секонд-хенд»: «На какое-нибудь порождение нашей фантазии мы примериваем то усопший сюртук, то мертвые панталоны, то бренные останки роскошного жилета и по фасону и покрою одежды стараемся вообразить прежнего ее владельца. Мы так увлекались порою этим занятием, что сюртуки десятками соскакивали со своих вешалок и сами собой застегивались на фигурах воображаемых людей, а навстречу сюртукам десятками устремлялись панталоны… Вот и на днях мы развлекались таким образом, пытаясь обуть в башмаки на шнуровке несуществующего мужчину, которому они, правду сказать, были номера на два малы, когда взгляд наш упал невзначай на несколько костюмов, развешанных снаружи лавки, и нам тут же пришло в голову, что в разное время все они принадлежали одному и тому же человеку, а теперь, по странному стечению обстоятельств, оказались вместе выставлены на продажу. Нелепость этой мысли смутила нас, и мы внимательнее вгляделись в одежду, твердо решив, что не дадим так легко ввести себя в заблуждение. Но нет, мы были правы: чем больше мы смотрели, тем больше убеждались, что первое впечатление нас не обмануло. Вся жизнь человека была написана на этих костюмах так же ясно, как если бы он показал нам автобиографию, крупными буквами начертанную на пергаменте».
О дверных молотках: «Посещая человека впервые, мы с величайшим любопытством всматриваемся в черты молотка на двери его дома, ибо хорошо знаем, что между хозяином и молотком всегда есть большее или меньшее сходство и единодушие. Вот, например, образчик дверного молотка, весьма распространенный в прежние времена, но быстро исчезающий: большой круглый молоток в виде добродушной львиной морды, которая приветливо улыбается вам, пока вы, дожидаясь, чтобы вам открыли, завиваете покруче кудри на висках или поправляете воротнички; нам ни разу не случалось увидеть такой молоток на дверях скряги, как мы убедились на собственном опыте, он неизменно сулит радушный прием и лишнюю бутылочку винца.