Каждый день он отправлялся от миссис Ройленс на фабрику, а каждое воскресенье — в Маршалси. Благодаря этим бесконечным блужданиям он узнал город изнутри, постигнув невероятное наслоение роскоши на самую неприглядную нищету. Позади Стрэнда, торговой улицы, облюбованной высшим обществом, прятались крысиные норы вроде Хангерфорда. Шагая из Кемдена по Тоттенхем-Корт-роуд, Чарлз проходил мимо квартала Севен-Дайалс, невероятного скопления лачуг и дворов, «колонии» (в зоологическом смысле этого слова) лондонской шпаны. Когда наш современник читает описание крушения дома Кленнэма в финале «Крошки Доррит» («И дом приподнялся, раздулся, лопнул в сотне мест одновременно и рухнул»), ему кажется, что это чересчур сильная метафора, Диккенс преувеличивает. Однако вполне возможно, что юный Чарлз однажды присутствовал при зрелище такого рода в злачных кварталах, где за состоянием халуп никто не следил.
По дороге он подмечал мельчайшие подробности: острый запах конского навоза, крики уличных разносчиков («costermongers»), проституток, отваживавшихся появляться на углу бульваров, подвиги карманных воришек, которым от силы было восемь-девять лет от роду, на выходе из театров или магазинов. Все эти ингредиенты — и тысячи других — будут брошены в «котел» диккенсовского творчества.
Пока Чарлз держался стойко, с мужеством, соразмерным его отчаянию. На фабрике Уоррена он, разрываясь между глубоко укоренившимися классовыми предрассудками и природным чувством товарищества, завязал робкие отношения с Бобом Феджином (который пришел к нему на помощь во время очередного приступа почечных колик) и с мальчиком по имени Полл Грин. Порой он играл с ними на угольных баржах в обеденный перерыв; когда наступало время чая, он потчевал их чудесными сказками, прочитанными в Чатеме, а то и историями, порожденными собственным воображением. Через несколько недель фабрику Уоррена перевели на Чандос-стрит, рядом с «Ковент-Гарден». Теперь Чарлз работал за витриной, выходившей прямо на улицу. Он почти сравнился в ловкости с Феджином; бывало, перед витриной скапливались прохожие, чтобы полюбоваться их спорой работой.
Чарлз научился умело распоряжаться своим бюджетом. Джон Диккенс платил за жилье, но все остальные расходы должен был покрывать Чарлз. Питался он хлебом с маслом, булочками и черствыми пирожками, продававшимися за полцены на Тоттенхем-Корт-роуд. Однажды он позволил себе роскошь посетить кафе на Парламент-стрит. Хозяева «подали мне пива, не самого крепкого, — вспоминает он. — Жена хозяина, открыв дверку прилавка и наклонившись, поцеловала меня полувосхищенно, полусочувственно, но по-доброму и от чистого сердца, я в этом уверен». Но самое стойкое воспоминание Диккенса связано с другой забегаловкой, рядом с церковью Святого Мартина: изнутри слова, написанные на витрине, — COFFEE ROOM — образовывали странные знаки: 
. «Сегодня, — писал он более двадцати лет спустя, — каждый раз, когда я оказываюсь в кофейне — конечно, совершенно другой, — но где существует… похожая надпись, и читаю ее задом наперед (как мне случалось делать тогда, в печальной задумчивости), у меня от чего-то стынет кровь в жилах».
Положение Чарлза несколько улучшилось, когда отец, уступив его настойчивым просьбам, подыскал ему новое жилье неподалеку от тюрьмы, на Лэнт-стрит. Отныне он мог завтракать и ужинать «дома», то есть в Маршалси. Кстати, в конце апреля 1824 года произошло событие, благодаря которому забрезжил свет в конце тоннеля: умерла бабка Чарлза по отцу, оставив сыну Джону, хотя он и не был ее любимчиком, 450 фунтов. Конечно, сразу получить эти деньги было нельзя, но Уильям, второй сын покойной, согласился в виде аванса уплатить самые неотложные долги своего брата. Тот вышел на свободу 28 мая; семья сначала поселилась у миссис Ройленс, а потом в доме 29 на крайне невзрачной Джонсон-стрит. Все Диккенсы пребывали в приподнятом настроении… за исключением Чарлза, которого не торопились забрать от Уоррена. Его собственное «освобождение» настало лишь несколько недель спустя, после того как Джон Диккенс, явившийся навестить его в новом помещении фабрики, увидел, что сын теперь работает на виду у прохожих. «Я увидел, как отец переступил порог… и спросил себя: как он это перенесет?»