Плохое здоровье Олофа сопровождало все детство Честера. В 1909 году, когда Честеру было три с половиной года, Олоф перевез семью в Кингсбург, штат Калифорния, где у одного из его братьев был виноградник и где он надеялся благодаря мягкому климату поправить свое здоровье. Но это не помогло. Через четыре месяца, полагая, что сухой воздух принесет ему облегчение, он снова переезжает с семьей в какой-то религиозный лагерь или санаторий, называемый лагерь «Свобода», в пустыне близ Юмы, штат Аризона. Здесь Честер жил в двухэтажной, с деревянным каркасом палатке, возведенной среди песчаных дюн, а Олоф большую часть дня проводил на кушетке внутри палатки, где было жарко, как в печи, надеясь выжечь болезнь из легких. У него был сильный, мучительный кашель, и каждое усилие вызывало ужасную боль в позвоночнике. Однажды в агонии он внезапно закричал, что ему хочется умереть, и четырехлетний Честер, услышав это, страшно испугался.
В 1910 году, прожив восемь месяцев в Аризоне, Олоф вновь переехал. Честер писал потом: «Мой отец был втянут в этот безумный проект колонизации американских земель, и я подозреваю, что он вслепую потратил на это большую часть из оставшихся сбережений. Мы приехали на участок, расположенный в нескольких сотнях миль по западному побережью Мексики, со всеми нашими пожитками. По прибытии мы обнаружили, что наша "ферма", которую предположительно купил наш отец, была всего лишь участком совершенно бесплодной сухой глины и кактусов».
Участок находился вблизи городка Абуйя, в штате Синалоа. Олоф, который физически уже не мог работать парикмахером, был вовлечен в этот проект частично из-за обещаний получить дешевую рабочую силу из Мексики. Обещания оказались ложными, но не имели отношения к делу, поскольку земля была такой бесплодной, что для ее обработки невыгодно было содержать даже одного работника. Карлсон купил корову и несколько кур, но не было никакой надежды что-либо вырастить на этой земле, и они едва могли прокормить самих себя. Затем начался сезон дождей, и окаменевшая земля превратилась в густую, вязкую грязь. Вода в двух комнатах глиняной хижины, в которой они жили, поднялась на фут, и им приходилось спасаться в кроватях – единственно сухом месте в доме. Корова и куры периодически увязали в грязи, и Эллен приходилось выбираться наружу, чтобы спасти их. И это было еще не худшее. Честер писал: «Здоровье моего отца продолжало ухудшаться. Моя мать заболела малярией, и нас осаждали скорпионы, тарантулы и змеи, похитители кур, а вскоре появилась угроза пострадать от опасностей мексиканской революции».
Семья Карлсонов прожила в Мексике семь месяцев – период, который Честер описывал как, «вероятно, самый ужасный и гнетущий в мои юные годы, хотя в еще большей степени для моих родителей, которые защищали меня от наихудшего». Эллен особенно старалась защитить сына от лишений. Она старалась быть веселой во время своей серьезной болезни, и Честер позже говорил, что на протяжении всего его детства ей как-то удавалось превращать нищету, в которой жила семья, в своего рода игру – требующую отгадки головоломки, которую можно было решить с помощью хорошего настроения и изобретательности. В Мексике, кроме всего остального, Честер, во второй раз в своей жизни, мог играть с другими детьми. (В первый раз это было во время четырехмесячного проживания семьи в Кингсбурге, где он имел удовольствие, как он позже описывал нудным ровным слогом, характерным почти для всех его воспоминаний о детских годах, «получить первый опыт общения со сверстниками».) Мексиканская ферма Карлсонов находилась по соседству с фермами еще четырех американских семей, которые все были жертвами одной и той же земельной аферы, и отец одного из семейств открыл маленькую школу, в которой Честер составил половину детсадовской группы. Именно в этой школе у него появился первый настоящий друг, маленькая девочка по имени Полин Никерсон, которая так его полюбила, что даже через пять лет продолжала писать ему письма.
Беспорядки, приведшие к мексиканской революции, начались в ноябре 1910 года, и американские чиновники рекомендовали всем гражданам США покинуть страну. Олоф, который к этому времени остался почти без гроша, покинул свою глиняную хижину и взял билет на единственный доступный для него транспорт – ржавое грузовое судно, направлявшееся в Лос-Анджелес. Багаж не доставил никаких проблем, потому что все пожитки Карлсонов легко уместились в одном сундуке. В море, в рождественское утро, капитан судна, пожалев своего самого юного пассажира, подарил Честеру плитку шоколада.
Американцу, рожденному после 1935 года, трудно вообразить такое общество, в котором отсутствует система социальной защиты. Когда Карлсоны высадились в Лос-Анджелесе в последнюю неделю 1910 года, они были одинокими, бездомными и обедневшими до такой степени, которую трудно представить в современной Америке. Позже они получили право на скромную материальную помощь от округа, и Олоф некоторое время получал небольшое пособие по инвалидности от профсоюза парикмахеров, в который он вступил еще в молодые годы, но тогда не было правительственной организации или программы, которая могла бы помочь им с продовольствием, жильем или медицинским обслуживанием. Они на короткое время поселились у сестры Эллен, но ее дом был маленьким, и у нее самой было туго с деньгами. Все же с помощью сестры Эллен, которая продолжала страдать от последствий малярии и от удручающего разнообразия других недомоганий, включая головные боли и гастрит, нашла работу в должности экономки одного доктора, и этот доктор, сжалившись, позволил семье поселиться в одной комнате в задней части его дома. Карлсоны жили в этой комнате больше года.