Однако передовые взгляды нового священника, его бескорыстное служение на ниве просвещения были не по вкусу ни его духовному начальству, ни властям. В это же время Первушин пишет памфлет «О сущности игральных карт», в котором отозвался о чиновниках, попах и замахнулся даже на самого господа бога. Терпение начальства лопнуло. 29 марта 1887 года Первушин постановлением Екатеринбургской духовной консистории уволен с места священника Шадринской церкви. Основанием для этого послужило сообщение начальника пермского губернского жандармского управления подполковника Евстафьева за № 642 от 25 октября 1886 года о крамольном памфлете священника.
Первушин спешно обращается к друзьям из Петербургской Академии с просьбой заступиться за него. «Так как в случае увольнения, — писал он, — я останусь без всяких средств к существованию в престарелом уже возрасте». И помощь пришла. Ученые-математики приняли горячее участие в его судьбе. Первушина перевели в другой приход того же уезда, в село Мехонское. Синод даже выслал ему математическую литературу на сумму 190 рублей. Впрочем, этим и закончилась забота Синода о выдающемся математике.
Шли годы, и некогда богатырское здоровье Ивана Михеевича стало сдавать. Черный туман застилал глаза — катаракта… После многочасовой работы уставала голова. По ночам долго не приходил сон. Все чаще острые уколы, как большие иглы, пронизывали сердце. 29 июня 1900 года Иван Михеевич как всегда работал допоздна. Ночью почувствовал себя плохо. 30 июня 1900 года не стало талантливого математика. Здесь же, в селе Мехонском, он и был похоронен.
Первушин был членом Московского математического общества, почетным членом Казанского физико-математического общества. И когда в 1892 году научная общественность России отмечала столетие со дня рождения великого геометра Н. И. Лобачевского и при Казанском физико-математическом обществе был образован комитет по созданию фонда им. Лобачевского, И. М. Первушина избрали почетным членом этого комитета. Еще при жизни Первушина издательство Московского математического общества выпустило в свет брошюру Л. К Лахтина «По поводу одной теоремы теории чисел, найденной эмпирически отцом И. М. Первушиным». Энциклопедический словарь Брокгауза и Ефрона поместил статью о Первушине как о выдающемся русском математике. Общественность Урала почтила память земляка. Газета «Пермские ведомости» напечатала некролог «Памяти Ивана Первушина». Много теплых слов посвятил Первушину в своих книгах по истории математики известный советский математик профессор Иван Яковлевич Депман. Во втором томе «Истории отечественной математики», изданной Академией наук СССР в 1967 году, Первушин назван талантливым математиком.
Всей жизнью Иван Михеевич Первушин подтвердил слова Льва Толстого: чтобы сделать что-нибудь великое, нужно все силы души устремить в одну точку. В детстве Ваня Первушин искал линзу, которая собирала бы солнечные лучи в одну жгучую точку, и не нашел. Но смог этот человек силы, свет своей души направить на любимое занятие жизни — на математику.