Тот факт, что шестилетний Бобби обыгрывал 36-летнюю Регину и 11-летнюю Джоан, как бы «блестяще» они ни играли, дает нам представление о той скорости, с какой росло его понимание шахмат, и самого себя. Победы придавали мальчику уверенность в своих силах и повышали самооценку. Проблема заключалась в том, что ни мать, ни сестра никогда по-настоящему не хотели с ним играть. «У моей матери шахматный анти-талант, — сообщил Бобби одному интервьюеру. — Она безнадежна».
Поскольку достойного партнера — да, и вообще, любого — не находилось, Бобби сделал своим главным противником себя. Расставив фигуры на маленькой доске, он играл партию за партией, сначала делая ход за белых, затем, повернув доску, за черных, при этом фигурки часто падали на пол. Он подбирал их, быстро ставил на место и делал ход. Перехитрить самого себя не так просто. Черные, например, знают, что задумали белые, и наоборот, когда за черных играл Фишер, белые знали их планы. Смысл такой игре Бобби мог придать только, если он изучал позицию заново на каждом ходу, словно играя против реального соперника. Он «забывал» о задуманном только что плане, стараясь обнаружить ловушку или найти слабое место в лагере «противника», чтобы сделать правильный ход. Некоторым такая игра может показаться упрощенной, одуряющей и даже шизофреничной. Но она давала Бобби ощущение доски, ходов, роли фигур и всей «хореографии» шахматного действа. «В конечном счете, я ставил мат парню напротив», — усмехался он годы спустя, рассказывая об этих баталиях.
Осенью 1950 года Регина вывезла семью из Манхеттена и перевезла ее через мост в Бруклин, где она сняла недорогую квартиру недалеко от пересечения улиц Юнион и Франклин. Но жилье предполагалось временным: Регина хотела жить ближе к более респектабельным районам. Не получив медицинской степени в России из-за войны, она была полна решимости стать дипломированной медсестрой. Как только ее внесли в списки Школы медсестер на Проспект-Хайтс, странствующая семья Фишеров, граждане из ниоткуда, снова снялась с места — десятый переезд за шесть лет, — чтобы перебраться в двухкомнатную квартиру (52 доллара в месяц) по адресу 560, Линкольн-плейс в Бруклине. Никогда не робеющая, когда дело касалось нужной ей и детям помощи, Регина рекрутировала соседей в помощь по перевозке скудных пожитков — ящик за ящиком через Истерн Паркуэй в новое и, как она надеялась, более постоянное, чем прежние, жилище. Хотя новая квартира находилась на четвертом этаже, куда приходилось подниматься пешком по лестнице, близость к школе медсестер позволяла Регине не упускать детей из вида во время учебы. У Бобби и Джоан были свои комнаты, а Регина спала в гостиной на том, что называлось дневной постелью. Соседи здесь тоже были поприятнее. Район Флэтбуш населяли принадлежавшие среднему классу евреи, его начали заселять и другие национальные меньшинства, а совсем недалеко — пешком дойти — располагались Проспект-парк и Ботанические сады, а также одна из лучших городских библиотек на Гранд-Арми-Плаза.
Бобби, которому исполнилось семь лет, ненавидел новое место. Когда дождь или холод не давали выйти на улицу, он не мог найти место для игры в здании, но даже и в хорошую погоду Регина неохотно позволяла сыну играть на улице без присмотра. Иногда Бобби в компании с мальчиком, жившем в этом же доме, начинал носиться вверх-вниз по лестничным пролетам и площадкам, играя в салки, но это надоело домовладельцу настолько, что был наложен запрет — и управляющий персонал оформил его в письменной форме — на любой вид шумной активности. Бобби нравилось забираться на свою кровать, а затем спрыгивать с нее, чтобы посмотреть, насколько далеко он может улететь. Он улетал всё дальше и дальше, делая отметки своих рекордов. Жители снизу пожаловались на стуки у себя над головой, и прыжки кровать-пол также были объявлены вне закона. Когда Бобби подрос, то начал делать ритмическую гимнастику, но и это ему запретили. Годы спустя Бобби так рассказывал об этом: «Если меня спросить, кому я обязан своим интересом к шахматам, могу ответить — домохозяину».