Фишер рос молчаливым ребёнком, приходящим в восторг лишь от настольных игр и головоломок; когда мальчику было шесть, сестра Джоан принесла ему комплект шахмат. Вместе они начали учиться играть, следуя инструкции. Вскоре Фишер настолько погрузился в игру, что его мать испугалась, не слишком ли много времени он проводит в одиночестве. Она решила поместить в местную газету «Brooklyn Eagle» объявление, чтобы найти для своего сына спарринг-партнера, но оно не было опубликовано, поскольку редакторы не решили, в какую категорию его поместить. Однако то, что они сделали, позволяет им занять почётное место в шахматной истории: объявление было направлено ветерану шахматной журналистики, влиятельному чиновнику Герману Хелмсу. В январе 1951 года он написал матери Фишера письмо, предлагая ей привести сына в Бруклинский шахматный клуб.
Следующие несколько лет Фишер проводил в нем долгие часы, тренируясь у президента клуба Кармайна Нигро. Расстроенный упрямым сопротивлением собственного сына, не желающего понимать всего очарования игры, Нигро испытывал воодушевление от энтузиазма новичка. Если клуб бывал закрыт, Фишер приставал к матери, чтобы та отвезла его в манхэттенский «Вашингтон-сквер», где игра уравнивала все классы, сюда вместе игроков любых социальных ниш Нью-Йорка, от богатых фондовых брокеров с Уолл-стрита до бездомных пьянчуг. К тревоге Регины, помешательство Фишера на шахматах оставалось прежним, и она решила отвести его в отделение детской психиатрии Бруклинской еврейской больницы. Там мальчика осмотрел доктор Гарольд Клайн и сказал, что не стоит беспокоиться по мелочам. По мере взросления Фишер начал посещать Манхэттен самостоятельно; поздними вечерами мать приезжала его забирать.
Гений Фишера проявился не сразу. Он был талантлив, обладал глубоким интуитивным пониманием шахмат, хорошо проявлял себя в клубных партиях и турнирах, но не блистал. До одиннадцати лет Фишер, по его собственным словам, был «просто хорош». В 1955 году он начал посещать Манхэттенский шахматный клуб и быстро стал расти. Этот клуб был для влиятельных лиц; по словам американского игрока Джима Шервина, атмосфера в нем была «довольно спокойной, приходили приличные белые». Год спустя Фишер вошёл в Хоторнский клуб, неформальное объединение шахматных мастеров, минимум дважды в неделю собиравшихся в доме Джека Коллинза. Прикованный к инвалидному креслу, Коллинз жил со своей сестрой Этель, служившей ему сиделкой, и воспитал несколько многообещающих игроков, в том числе будущих гроссмейстеров Уильяма Ломбарда и Роберта Бирна. Коллинз очень серьёзно повлиял на жизнь Фишера. Он собрал огромную шахматную библиотеку, и именно в его доме юный Фишер впервые почувствовал вкус к чтению книг о шахматах, аппетит к которым постепенно стал ненасытным. Он посещал и другие шахматные клубы, например клуб Маршалла в Гринвич-Виллидже, привлекающий толпы молодёжи, и «Фли-хаус» на Сорок второй улице. Игра в этих клубах иногда происходила на небольшую ставку. Если кому-то во «Фли-хаусе» хотелось немного пополнить содержимое своего кошелька, самой лёгкой добычей был «рабби Сэм».
Слухи о появлении нового вундеркинда постепенно распространялись по шахматному сообществу. Мальчик с таким потенциалом не появлялся с 1920 года, когда девятилетний поляк Сэмми Решевский впервые совершил турне по США. В тринадцать Фишер уже получал приглашения на сеансы одновременной игры, где сражался с несколькими игроками сразу. Один такой сеанс он дал на Кубе, отправившись туда в сопровождении матери. В июле 1956-го он выиграл чемпионат США среда юниоров, став самым молодым победителем за всю его историю. В том же году ему предложили выступить в элитном турнире на Кубок Розенвальда. Это было состязание по круговой системе (каждый участник играет со всеми остальными) для лучших шахматистов страны, считавшееся наиболее престижным в американском шахматном календаре. Тактический шедевр Фишера против Дональда Бирна (брата Роберта) мгновенно, хоть и несколько преувеличенно, стал именоваться лучшей партией века. Ослепительное произведение искусства, многослойное по своей сложности и демонстрирующее отважное, дерзкое видение, эта партия сосредоточенно изучалась по всему миру. По словам международного мастера Боба Уэйда, 17-й ход, которым Фишер (чёрные) отступил слоном на e6, игнорируя нападение на своего ферзя, поднял партию на «непревзойдённую высоту». На самом же деле у Фишера не было никаких альтернатив этому ходу, поскольку все остальные привели бы к поражению; но быстрота, с которой его противник потерпел крах, казались чудом для любителей шахмат. Уже на 25-м ходу стало ясно, что фигуры Бирна в отчаянном положении. Советский гроссмейстер Юрий Авербах говорит, что после этой партии он понял: над шахматной гегемонией СССР нависла угроза.