Неллиаппияр был адвокатом, практикующим в Манамадурае. Узнав эти новости, он сразу отправился с другом в Тируваннамалай для проверки. Они нашли дорогу к Свами, но тот уже пребывал в манговом саду, владелец которого, Венкатарама Найкер, отказался впустить их: "Он — мауни (принявший обет молчания); зачем же входить и беспокоить его?" Даже когда прибывшие сослались на свое родство, самое большее, что было им позволено, так это послать записку. Неллиаппияр написал на листе бумаги, принесенном с собой: "Неллиаппияр, адвокат из Манамадурая, хочет видеть Вас".
Свами показал уже сочетание острого восприятия мирских дел с полной непривязанностью к ним, которое характеризовало его позже и удивляло столь многих почитателей. Он заметил, что бумага с текстом записки относилась к департаменту Регистрации, а на ее обороте был какой-то служебный материал, подписанный его старшим братом, Нагасвами, из которого и сделал вывод: Нагасвами стал служащим этого департамента. Точно так же как и в последующие годы, он перевернул письмо и, прежде чем вскрыть, рассмотрел адрес на нем и почтовую марку.
Он разрешил посетителям войти, но, когда те зашли, сидел отчужденно и молчаливо, без следа интереса, проявленного при изучении записки. Любой знак интереса только поддержал бы пустую надежду на его возвращение. Неллиаппияр был глубоко тронут, увидев Свами в таком состоянии — нечесаного, немытого, со спутанными волосами и длинными ногтями. Считая его мауни, Неллиаппияр обратился к Паланисвами и Найкеру, объясняя, что получил огромное удовольствие, обнаружив одного из членов своей семьи достигшим столь высокого состояния, но и земные блага не следует игнорировать.
Родственники Свами хотели, чтобы он был рядом с ними. Они не давили на него, требуя отказаться от своих обетов или образа жизни. Пусть он продолжает быть мауни (безмолвным) и аскетом, но в Манамадурае, рядом с которым жил Неллиаппияр и где был храм одного великого святого; он может оставаться там, а за его потребностями последят, не причиняя беспокойства. Адвокат просил со всем своим красноречием, но в данном случае безуспешно. Свами сидел недвижимо, не показывая даже, что слышит. У Неллиаппияра не было иного выбора кроме того, чтобы признать свое поражение. Он сообщил письмом Алагамме хорошую новость о найденном сыне вместе с мучительным известием, что тот совершенно изменился и не собирается возвращаться к ним. После пяти дней в Тируваннамалае Неллиаппияр вернулся в Манамадурай.
Вскоре после этого Свами покинул манговый сад и перешел в небольшой храм Арунагиринатхара, к западу от водоема Айянкулам. Всегда не желая зависеть от услуг других, он теперь решил ежедневно выходить и просить еду вместо того, чтобы позволять Паланисвами снабжать его. "Вы идите за своей пищей одной дорогой, а я пойду по другой, — предложил он Паланисвами. — Давайте больше не будем жить совместно". Для Паланисвами это прозвучало страшным ударом: преданность Свами была его способом богослужения. Как приказано, он вышел один, но сумерки снова застали его в храме Арунагиринатхара. Как он мог жить без своего Свами? И ему было позволено остаться.
Свами все еще поддерживал молчание. Он, бывало, останавливался у порога какого-нибудь дома, хлопал в ладоши, и если давали какую-либо пищу, то брал ее в сложенные чашечкой ладони и ел, стоя на дороге. Даже если приглашали, он никогда не входил в дом. Свами каждый день двигался по другой улице и никогда не подходил к одному и тому же дому дважды. Он говорил впоследствии, что просил подаяние почти на всех улицах Тируваннамалая.
После месяца жизни в храме Арунагиринатхара Свами избрал своим пребыванием одну из башен Великого Храма и сад Алари в нем. Куда бы он ни направлялся, его уже сопровождали почитатели. Он пробыл тут лишь неделю, а затем ушел к Павалаккунру, одному из восточных отрогов Аруначалы, и остановился там в местном храме. Он обычно сидел здесь, как и раньше, погруженный в самадхи (Блаженство Бытия), покидая жилище только для выпрашивания пищи, пока Паланисвами отсутствовал. Часто случалось так, что храмовый священник запирал Свами и уходил после совершения пуджи, не потрудившись посмотреть — нет ли его внутри.
Именно здесь Алагамма и нашла сына. Получив известия от Неллиаппияра, она подождала рождественских праздников, когда старший, Нагасвами, освободился, чтобы сопровождать ее, и отправилась в Тируваннамалай. Она тотчас же узнала своего Венкатарамана, несмотря на его изнуренное тело и спутанные волосы. Со всей материнской любовью она сетовала на условия его жизни и умоляла вернуться обратно домой вместе с ней, но он сидел недвижно, не отвечая и даже не показывая, что слышит. День за днем она возвращалась, принося ему для еды разные вкусности, упрашивая и упрекая, но безрезультатно. Однажды, уязвленная очевидной утратой его чувства к ней, Алагамма залилась слезами. Он все еще не отвечал, но, чтобы не выказать сострадание, давая тем ложные надежды на то, что случиться не может, поднялся и ушел. На следующий день она заручилась симпатией почитателей, собравшихся вокруг нее, излив им свое горе и умоляя вмешаться.