После этого он полностью отрекся от мира и начал вести жизнь отшельника, ночуя под деревьями в разных частях Враджа-мандалы. Такую жизнь он вел около тридцати дет. В эти годы он иногда совершал паломничество к святым местам Северной и Западной Индии, а также Гаура-мандалы. Он был близок со Шрилой Сварупой дасом Бабаджи Махараджей, с которым он виделся в Джаганатха Пури и о чьих чудесных деяниях поведал в своей автобиографии Шрила Бхакгавинода Тхакур. Он также общался со Шри Бхагаваном дасом Бабаджи, с которым встречался в Калне. Он ходил в Кулию, святое место, в котором Шрила Джаганатха дас Бабаджи совершал бхаджану, и встречался там с Шрилой Чайтаньей дасом Бабаджи. Все эти Бабаджи были чистыми и совершенными преданными. Шрила Гауракишора дас Бабаджи стал очень известен среди великих преданных Вриндавана, и ему вполне заслуженно был присвоен титул бхаджанананди. Но хотя ему была оказана такая почесть, он никогда стремился даже в малейшей степени удовлетворять потребности своих материальных чувств и сурово осуждал тех, кто делая вид, что полностью отрешен от мира, лелеял в сердце тайные материальные желания. Он был совершенно не склонен к такого рода поведению, он просто совершал в одиночестве свои чистые духовные игры, исполненный беззаветной преданности.
В 1897 году в месяц пхалгуна, в то время, когда благодаря усилиям Шрилы Бхактивиноды Тхакура была обнаружена Йогапитха (место рождения Шри Чайтаньи), Шрила Гауракишора Прабху по указанию Шрилы Джаганнатхи даса Бабаджи Махараджи в шестидесятилетнем возрасте переселился из Вриндавана в Шри Навадвипа-дхаму. С этого времени и до момента своего ухода он постоянно пребывал в Навадвипа-дхаме. Он жил там в различных деревнях, хорошо понимая, что все они неотличны от святых мест Вриндавана. Он жил подаянием, прося у семейных людей, живших в Святой Дхаме, сухие продукты. Иногда он предлагал эти продукта Верховной Личности Бога, просто держа их в руках. Чтобы приготовить пищу, он собирал дрова на дорогах и подбирал и мыл глиняные горшки, которые жители деревень оставляли на обочинах дорог около Ганги во время затмений (из-за влияния планет во время затмения такие горшки считались оскверненными и потому непригодными для приготовления пищи). Если ему нужна была одежда, он шея на берег Ганги и подбирал там, а затем стирал выброшенную одежду, которой прикрывали трупы, лежавшие в поле, где их сжигали. Таким образом, используя никому уже не нужные предметы обихода и вещи, он всегда оставался независимым от других и не нуждался в чьей бы то ни было помощи. Так он приобретал все необходимое для жизни.
В 1897 году Шрила Бхактивинода Тхакур построил ашрам для бхаджаны на берегу Сарасвати в Годруме, одном из девяти островов Навадвипа-дхамы, который символизирует киртан (пение имен Бога и прославление Его). Этот ашрам, который назывался Свананда-сукхада-кунджа и включал в себя непритязательный двухэтажный дом, несколько небольших надворных построек и двор, обнесенный стеной, был местом встреч возвышенных душ. В давние времена это было место Нама-хатты Господа Нитьянанды, место, где Он по указанию Щри Чайтаньи Махапрабху начал свою всеславную проповедь в Бенгалии. Здесь Тхакур декламировал и разъяснял “Шримад-Бхагаватам” и говорил о других предметах, касающихся основ преданного служения.
Шрила Гауракишора дас Бабаджи Махараджа очень часто приходил сюда и с большим удовольствием слушал его проповеди. Тхакур нередко рассказывал о поведении Шрилы Гауракишоры, чтобы прояснить значение слова нирапекша (“бесстрастие”). Он часто также говорил о беспримерной отрешенности, чистой преданности и привязанности к Кришне, которые обнаруживал Бабаджи Махараджа. Эти две души встречались, когда Тхакур отошел от дел, и их общение друг с другом приносило им огромное счастье.