Бисгайер помнит и более странные события, происходившие на Кюрасао. После первой половины турнира участники отправились на тропический остров Сен-Мартен. «Я приходил к нему каждый день, чтобы подбодрить и вывести из подавленного настроения. Однажды я увидел, что дверь в комнату открыта, а в руке у Фишера ботинок. Я спросил: «Зачем ты открыл дверь? В комнату налетят насекомые». А он ответил: «Я того и хочу». Выяснилось, что он ловил этих несчастных созданий и отрывал им ноги. Происходили и другие вещи подобного рода. Это пугало. Если бы он не был шахматистом, то вполне мог бы стать опасным психопатом».
Этот турнир выиграл Тигран Петросян, став в 1963 году чемпионом мира. Учитывая сильное соперничество за титул в 1966 году, Фишер заявил, что не будет участвовать в отборочном цикле чемпионата мира, пока систему не реформируют для предотвращения сговора. Он добился, чего хотел: вскоре было объявлено, что круговой турнир претендентов заменяется серией матчей на выбывание.
Начали появляться проблемы и с организаторами турниров. Присутствие Фишера требовало высоких гонораров, которые спонсоры давали с неохотой, хотя понимали, что участие американца добавляет блеска любому составу участников и стимулирует интерес публики. Однако деньги были лишь частью проблемы. Суровым стандартам Фишера должны были отвечать и условия проведения соревнований: освещение шахматной доски — только прямое, зрители располагаются далеко, чтобы не мешать. Более понятным оказалось требование составлять расписание партий согласно календарю его религиозных практик (Решевский, ортодоксальный еврей, выдвигал такие же условия).
В середине 60-х Фишер оказался втянут во Всемирную церковь Господню, хотя формально никогда в неё не входил. Это была быстро растущая фундаменталистская секта со штаб-квартирой в Пасадене на юге Калифорнии, куда входило примерно 75 тысяч человек из 300 конгрегаций по стране и за её пределами. Основателем секты был Герберт Армстронг, бывший оформитель газетных объявлений, превратившийся в харизматического радиопроповедника. Он создал на основе Библии теологический коктейль, совместив иудаизм, спасение через Иисуса Христа и строгую мораль. Последователи должны были соблюдать еврейскую субботу, еврейскую пасху, а также придерживаться кошерной пищи. За одним исключением, Фишер следовал религиозным установкам этой церкви, стараясь питаться согласно правилам, а также строго соблюдая субботу. Однако даже в этом случае создавалось впечатление, что американец по-своему интерпретировал правила церкви, как и правила турниров. Евгений Васюков пишет: «Я не хочу подвергать сомнению искренность религиозных воззрений Фишера, но было странно наблюдать, как он в субботу приходил в турнирный зал, анализировал закончившиеся партии, а однажды подошел к нашим гроссмейстерам и попросил их научить его игре в домино». Правило, которое Фишер полностью проигнорировал, касалось церковного запрета на настольные игры, рассматриваемые как «фривольные».
В декабре 1963 года Фишер принял участие в американском чемпионате. Он уже выигрывал его пять раз, но никто не предвидел результатов этого года. Играя против одиннадцати самых именитых шахматистов страны, он выиграл все партии! Это было уникальным событием, «историческим», как справедливо отмечала пресса. Выиграть национальный чемпионат — одно, побеждать в нем несколько лет подряд-другое, но сыграть в турнире, не проиграв ни одной партии и не сделав ни одной ничьей, — просто поразительно. Фишер доказал самому себе, что является игроком совсем другого уровня.
В такой великолепной форме он представлял реальную угрозу советским гроссмейстерам, и шахматный мир гудел в предчувствии его выступления в межзональном турнире 1964 года, проводимом в Амстердаме. Пропустить этот отборочный цикл означало невозможность бороться за чемпионский титул до конца следующего цикла, то есть до 1969 года. Разумеется, это был шанс, который не следовало упускать. Однако, всё ещё злясь на «советских жуликов», Фишер отказался от участия. При этом, лишившись того, чего так страстно желал, он обратил ярость на самого себя. Полтора года он не участвовал в турнирах. Предложения приходили, но Фишер отклонял их или запрашивал такие суммы, которые отпугивали даже самых щедрых спонсоров. Так в возрасте двадцати одного года он впервые вышел в отставку.