В последствии Роберт вспоминал об учителях этой школы как о «внушающих трепет высших существах». Он писал, что часто боролся с одним из одноклассников и постоянно побеждал его. Как-то во время схватки на игровую площадку вышли учителя. Роберт обрадовался, предвкушая легкую победу на глазах таких зрителей, но тут его противник в первый и последний раз повалил его на землю. Даже много лет спустя Роберт не мог забыть остроту испытанного им тогда унижения и позора, который усугубляла очень обидная мысль: учителя подумают, что он всегда терпит поражение. Он надеялся устроить матч-реванш, который так и не состоялся. Через несколько дней мальчик, с которым он обычно боролся, погиб в результате несчастного случая. Поскольку однокашник Роберта Норрис Чамберс ничего не помнит об этом трагическом происшествии, вероятно, это воспоминание — одна из фантазий Роберта. Этой ложью Роберт пытался защитить свое самолюбие.
Впервые в жизни у Роберта появились друзья — мальчики, которых одобрила его мать, и сыновья близких приятелей доктора Говарда. Кроме Остина Ньютона среди них были Эрл Бэйкер, Перси Триплетт и Фаулер Гэффорд — мальчик-калека.
Роберту нравилась борьба и драки без правил на кулаках, любовь к боксу осталась у него на всю жизнь. Он читал все, что только мог найти по этому предмету. Его спарринг-партнером был обычно Остин Ньютон. Он вспоминает: «У нас, естественно, не было боксерских перчаток, но мы уйму времени проводили, боксируя. Однажды мы занимались боксом у нас на заднем дворе. Я попал под удар слева, который пришелся мне по адамову яблоку и сбил с ног. В тот день это положило конец занятиям, но впоследствии они продолжились, оставаясь нашим основным времяпрепровождением».
Хотя Роберт научился играть в местные мальчишеские игры, такие как «щелкни хлыстом», «волк за рекой», прятки, «фермер в лесистой лощине», дети Кросс Кат находили девятилетнего мальчика довольно странным. Роберт, как оказалось, был еще больше, чем другие мальчики, зачарован силой. Одна из девочек Бэйкер заметила, что он всегда вел себя так, словно хотел кого-то убить. «Он был робок с девчонками, — вспоминала она, — и очень неспокоен. «Однажды я улечу отсюда на крыльях», — сказал он как-то. Мы все думали, что он немного не в себе».
Но все же друзья любили Роберта. Они считали его интересным собеседником и обожали слушать его рассказы, восторженно следуя вслед за игрой его воображения. Как и все его сверстники, он любил играть в ковбоев и индейцев и фехтовать на палках. Но в отличие от них он придумывал различные сценарии игр и распределял между мальчиками роли, указывая им, что они должны делать и говорить.
Эти игры строились не только на основе собственных фантазий Роберта, но и на огромном количестве приключенческих рассказов, которые он читал запоем. Он любил истории о пиратах, таких как капитан Кид и Генри Морган, пока случайно не наткнулся на подлинные отчеты о реальной жизни и ужасной смерти морских разбойников. Когда Роберт учился в десятом классе в Кросс Плэйнс, он написал сочинение, в котором выразилось охватившее его при этом разочарование:
«Я начал понимать, что у романтического пиратства имеется обратная сторона. В конце упомянутой книги была иллюстрация, которая полностью пошатнула все мои предыдущие представления. Она изображала известного мне пирата после казни. Он был пригвожден к мачте военного корабля огромным клином, который торчал из его головы… Его лицо было залито кровью и искажено ужасными муками, которые он испытывал, пока смерть, проявив милосердие, не освободила его от них. Эта суровая картина преследовала меня долгое время и заставила раз и навсегда отбросить мысль о плавании под флагом с черепом и перекрещенными костями».
Вместе с Эрлом Роберт бродил по пастбищам с луком и стрелами, воображая себя индейцем; иногда они были разбойниками, такими как Джесси Джеймс и Билли Кид. Иногда, сидя верхом на Старине Чарли, безгранично терпеливой лошадке, на которой Роберт и дети Бэйкеров учились ездить верхом, мальчики мнили себя ковбоями, приручающими диких мустангов. Или же, взяв двух лошадей Бэйкеров, оглашали холмы воинственными кличами, сопровождавшими воображаемые жестокие битвы с врагами.