В марте 1975 года собрался чрезвычайный конгресс ФИДЕ. На нем Фишеру сделали ещё одну уступку, согласившись на неограниченное число партий. Однако принять требование о сохранении титула при счёте 9:9 делегаты отказались. Эдмондсон отправился в Калифорнию умолять чемпиона.
Тем временем ФИДЕ объявила, что если Фишер не даст согласия играть матч до 1 апреля, то его лишат титула. Этот день наступил и прошёл; потом ещё один... Наконец, 3 апреля был провозглашён новый чемпион — Карпов. На пресс-конференции он намекнул, что готов встретиться с Фишером в неофициальном матче, возможно думая о Маниле и пяти миллионах долларов. Карпов трижды неофициально виделся с Фишером — в Японии, Испании и Вашингтоне, — обсуждая условия матча. В конце концов министр спорта Сергей Павлов при поддержке ЦК КПСС отклонил эту идею. Главный идеолог Михаил Суслов подписал ей приговор, сочтя затею «нецелесообразной».
Фишер оказался самым бездеятельным из чемпионов, не сыграв ни одной серьёзной партии в течение трёх лет. Стремясь показать себя достойным короны, Карпов продолжал активно играть; год от года сила его росла, он выиграл серию элитных гроссмейстерских турниров и утвердил свой авторитет в шахматном мире. Он дважды победил в матче Корчного, в филиппинском городе Багио в 1978 году (едва-едва) и в 1981-м в итальянском Мерано (убедительно). Его преемник на шахматном троне Гарри Каспаров писал о Багио: «После этого воспоминания о Рейкьявике окончательно стёрлись, и престиж советских шахмат восстановился».
Где же пропадал Фишер? Несколько лет он жил в Пасадене, в лоне Всемирной церкви Господней, где его называли «сотрудником». Церковь кормила его, предоставила хорошие апартаменты на Мокинберд-лейн и даже выделила личный самолёт. В ответ Фишер перечислил им около трети (61 200 долларов) исландских призовых денег. Он подружился с Гарри Снайдером, национальным чемпионом-штангистом, тренировавшим прихожан. Почти каждый вечер они с Фишером занимались физическими упражнениями — футболом, баскетболом, теннисом, плаванием, настольным футболом. Фишер проводил много времени, слушая по радио выступления христианских проповедников.
Были и другие люди, желающие помогать ему. Одной из таких оказалась Клаудия Мокароу, также прихожанка Всемирной церкви Господней. В 1976 году международный мастер Дэвид Леви приехал к Фишеру в гости. Тот жил в большом доме без мебели. Леви и Фишер спали на матрасах, постеленных прямо на полу. Леви вспоминает, что Фишер использовал Мокароу в качестве водителя, звоня ей, чтобы та отвезла их в какой-нибудь ресторан.
В 1977-м Фишер расстался с церковью, обвинив её в «сатанизме» и подвергнув резкой критике методы работы и принципы руководства. С этого времени шахматная знаменитость превратилась в полного затворника. Те, с кем он ещё поддерживал контакт, были связаны клятвой не сообщать о его местонахождении. Отношения с нарушившими это обещание разрывались навсегда. Чтобы его не узнали, он отрастил бороду и усы. Письмо Фишера старому приятелю по шахматам Бернарду Цукерману, датированное 13 мая 1978 года, говорит о том, что он всё ещё использовал Клаудию в качестве секретарши. Он прислал её телефонный номер и разрешил Цукерману звонить туда, чтобы оставлять сообщения.
Жизнь Фишера превратилась в плодотворную почву для слухов, хотя мало какие из них казались преувеличенными. В начале 1981 года он провел несколько месяцев в Сан-Франциско, сыграв семнадцать блиц-партий с канадским гроссмейстером, греком по рождению, Питером Байясасом (Фишер выиграл их все). Байясас сказал, что Фишер таскал с собой чемодан, набитый китайскими и мексиканскими лекарствами, объясняя это так: «Если коммунисты решат меня отравить, я легко им не дамся». Появлялись сообщения, что он заменил все свои пломбы, решив, что Советы способны использовать металл в зубах в качестве приёмника зловредных волн.
Днем 26 мая 1981 года Фишера арестовала полиция, приняв его за банковского грабителя, и бросила на два дня за решётку. Позже он опубликовал памфлет, ярко описывающий пережитые унижения: «МЕНЯ ПЫТАЛИ В ТЮРЬМЕ ПАСАДЕНЫ! Написано Бобби Фишером, чемпионом мира по шахматам». Отказ сотрудничать с властями и нежелание сообщить свой адрес были лишь частью проблемы. Фишер жаловался, что его «приковали наручниками» и металл въедался в его плоть. Когда он отказался отвечать на вопросы, офицер, по словам Фишера, «схватил его за горло и начал душить». Хотя Фишер не знал имени полицейского, он потребовал, чтобы его опознали по следующим приметам: «Очень агрессивный, как пёс, который лает, кусается и скалит зубы. Чрезвычайно жестокий». Фишер заявил, что его раздели и оставили голым в сырой, продуваемой сквозняками клетке. Через маленькое окошко он видел, как мимо проходят люди, кричал, что его пытают до смерти, но никто не пришёл к нему на помощь.