Раннее детство писателя было наполнено мистическими рассказами и религиозными предрассудками, голодом и холодом. Его окружали бедность и невежество, тяжкий труд. Лишь любовь и ласки матери скрашивали полуголодное существование хилого, болезненного Теодора. Угрюмый, погруженный в религиозные думы, отец перестал быть опорой семьи, и вся тяжесть забот о пропитании детей свалилась на плечи матери. Она не чуралась никакой работы, лишь бы спасти детей от смерти, — стирала, убирала в местной гостинице, помогала другим по хозяйству, сдавала комнаты и готовила обеды одиноким рабочим.
Дети любили мать и старались помочь ей чем только могли. Пятилетний Теодор вместе с братьями частенько собирал уголь на железной дороге, чтобы в доме было тепло. Когда стал постарше — вместе с сестрой разносил заказчикам пакеты с бельем, которое выстирала и отутюжила их мать. «Как ни был я мал, я все же сознавал страдания, выпавшие на долю моей матери, — писал он впоследствии об этих годах. — Мне вспоминаются долгие, мрачные, серые, холодные дни; скудная еда, состоящая из картошки или чечевицы. Ребенком, в особенности в эти годы, я не однажды бывал голоден…»
Тяжелый труд матери спасал Драйзеров от голода, но не от кредиторов. Долги росли, нечем было платить за квартиру, и семья вынуждена была переезжать из одного полуразрушенного дома в другой. По свидетельству писателя, в Терре-Хот они переезжали с места на место не менее пяти-шести раз. Крайне тяжелые материальные условия все же не могли лишить родителей желания дать своим детям хотя бы какое-то образование. Мать стремилась отдать детей в бесплатную общественную школу, но отец настоял на платной католической — он уже представлял одного из своих сыновей в роли священника. Первым в католическую школу был отправлен старший сын Поль. Но к этому времени тот уже имел твердо определившуюся склонность к пению и стихам. Церковная муштра пришлась ему не по душе, он сбежал из школы, но не вернулся домой, а вступил в одну из бродячих театральных трупп. Не проявлял никаких склонностей к учебе и второй брат — Ром, которого привлекала недоступная ему легкая жизнь, азартные игры, спиртное. Конечно, не могло быть и речи о том, чтобы Ром оказывал посильную помощь родителям, его самого то и дело приходилось выручать из затруднительных положений.
Теодор рос любознательным, серьезным ребенком, склонным внимательно вслушиваться в беседы взрослых. Отец любил брать Теодора с собой на прогулки и с удовольствием отвечал на его бесконечные вопросы. Впечатлительный мальчик быстро все схватывал и рано научился понимать истинное положение дел в семье. Его доводил до слез один вид рваных туфель матери, и он изо всех сил стремился помочь ей в хлопотах по хозяйству. Если летом Драйзеры еще кое-как ухитрялись сводить концы с концами, то наступление холодов являлось для них настоящим бедствием. «Долгие годы, — писал спустя много лет Драйзер, — даже когда мне уже было лет 35 пли 40, приближение зимы неизменно наполняло меня каким-то неопределенным и крайне угнетающим страхом…»
В шестилетнем возрасте Теодора отдали в небольшую немецкую католическую школу, расположенную на той же 9-й улице. Неподалеку, буквально за углом, находилась бесплатная общественная школа, но отец по-прежнему и слышать не хотел, чтобы его дети посещали какую-либо другую школу, кроме церковной. В памяти писателя от этих первых ученических лет остались долгие часы тягостных служб, зубрежка катехизиса, недоброжелательные лица церковников. С удовольствием он вспоминал только красочные картинки из букваря да краткие минуты игр со сверстниками. Уже в те годы Теодор понимал, что он, его родители, братья и сестры гораздо беднее других. Он страдал, что его одежда и обувь были намного изношеннее, чем у других школьников, что почти все смотрели на него свысока. Разнося по вечерам пакеты с бельем, он старался выбрать улицы потемнее, чтобы не попадаться на глаза знакомым ребятам.
Между тем материальное положение Драйзеров все ухудшалось, отец почти не работал, а самоотверженных усилий матери было явно недостаточно, чтобы прокормить такую большую семью. Было решено временно разъехаться и попытать счастья в другом месте. Мать с тремя младшими детьми — шестилетним Эдом, семилетним Теодором и девятилетней Кларой — покинула Терре-Хот и по приглашению знакомых уехала в небольшой городок Винсенс. Глава семьи и четыре старшие дочери остались на месте, им всем удалось устроиться в мастерские по производству ковров, и они намеревались часть заработка высылать матеря. Одиннадцатилетнего Эла определили работать на ферму. Что же касается двух старших сыновей — Поля и Рома, то от них не было ни слуху ни духу.