В 1839 году отец Алексий Гнеушев вышел за штат, передав место настоятеля бортсурманского храма мужу своей внучки Прасковьи Федоровны, отцу Павлу Вигилянскому (1817-1866). Одновременно он сложил с себя все заботы по дому и перебрался жить в малую келию с одним занавешенным окном, выходившим в сторону храма. Домашние не беспокоили его, понимая, что главное дело старца теперь - это уединенная молитва. Тем не менее он по-прежнему принимал всех, кто хотел его видеть. Все жившие окрест люди были уверены в его богоугодной жизни и глубоко почитали его. Так, нижегородский помещник Н. И. Жадовский, поздравляя его с Новым годом, писал: «Да благословит Господь святые подвиги Ваши своею благодатию на новый 1842 год. Прошу и для меня грешного с родными моими и домочадцами Вашего благословения, Ваших святых и каждодневных молитв; и если не трудно это Вашим силам, то и драгоценного же мне Вашего писания. Очень желаю видеть Вас. Надеюсь, что Господь сподобит этого счастия в продолжении этого года». Наталья Борисовна Карамзина, жена А. М. Карамзина (родного брата знаменитого историка), называла отца Алексия в письмах «благодетельным, богоугодным, беспримерным и милым старичком-священником». А помещик Александр Петрович Шипилов наставлял в письме жену: «Молись, мой милый друг, и попроси Благочестивого Алексея Петровича».
Сохранился отзыв об отце Алексии Гнеушеве преподобного Серафима Саровского. В книге «Житие старца Серафима, Саровской обители иеромонаха, пустынножителя и затворника», изданной в Москве в 1884 году, отмечено, что Саровский старец, не будучи знаком с отцом Алексием лично, знал его благодаря своему дару прозорливости и неоднократно отзывался о нем так: «Сей человек своими молитвами за души христианские подобен свече, возженной пред престолом Божиим. Вот труженик, который, не имея обетов монашеских, стоит выше многих монахов. Он как звезда горит на христианском горизонте». Тех же, кто приезжал к нему из Симбирской губернии, преподобный Серафим отсылал к отцу Алексию.
...С наступлением 1848 года силы начали покидать Бортсурманского старца. Служить он уже не мог, но родные ежедневно водили его в храм. Тем не менее каждого приходящего к нему он по-прежнему принимал и выслушивал. На Страстной неделе состояние старца сильно ухудшилось. К Великому четвергу он перестал принимать пищу и уже не мог вставать... Но тех, кто сокрушался о нем, он просил не печалиться, говорил:
- Тех, кто будет меня помнить, того и я не забуду.
Статский советник Николай Дмитриевич Пазухин, которому в 1848 году было восемь лет, со временем записал свои воспоминания, связанные с последними днями отца Алексия. В 1896 году они были опубликованы в «Симбирских епархиальных ведомостях»:
«Как сейчас помню то тревожное время, когда стали говорить, что отец Алексей умирает. Все мои домашние: отец, мать, прислуга, стали ходить к умирающему. Когда о. Алексей сильно ослабел, его перевели в дом к священнику, в угольную комнату с окнами, которые приходились против церкви и нашего дома. Так как о. Алексей не мог, по болезни своей, лежать, то он был посажен в кресла, лицом к находившимся в углу образам, от которых на обе стороны шли окна.
Был май месяц (на самом деле - апрель. - В. Б.) 1848 года. Дни стояли чудные. Все окна были открыты. Народ, окружавший дом священника, не расходился и день и ночь: он стоял безмолвно и только крестился и кланялся умирающему, который в течение трех суток, как мне помнится, был в одном положении. Памяти о. Алексей не терял и сидел, опустив голову от слабости. От времени до времени он поднимал голову на иконы, благоговейно молился и благословлял то в ту, то в другую сторону стоящий кругом дома народ. Одежда на о. Алексее была белая - полотняный подрясник, сам он был седой, скорее белый. Пред иконами горели лампадки, свечи и, мне помнится, свечей горело очень много, так как всякий приносил свечу и желал поставить ее к образам, творя молитву, кто какую знал, с пожеланием старцу кончины мирной, тихой и безболезненной. На лицах не только простого народа, но и всех вообще, как бы отпечатлевалось, что умирает не простой человек, а Богу угодный. Хотя мне тогда было только 8 лет, но когда меня привела мать к умирающему под благословение, и когда я увидал то благоговение, с которым относится мать моя, все родственники мои, и всё присутствующее, и народы к старцу, о. Алексею, - и как он с кротостью, терпением переносит переход земной жизни в вечную, не переставая при этом молиться и благословлять народ, - мне тогда казалось, что я стою у одра праведника; так, разумеется, думали и все стоявшие у гроба незабвенного о. Алексея».