Многие священники оказались настроены против лично о. Илиодора. О его удалении из семинарии ходатайствовали съезды 5-го округа Угличского уезда, 4-го округа Ростовского уезда и Великосельского благочиния Ярославского уезда. Вскоре высокопреосв. Иаков отметил, что о. Илиодор возбудил против себя не только всех семинаристов, но «чрез них и все городское и сельское духовенство».
О. Илиодор не поладил и со своими сослуживцами по семинарии. В отличие от него, они были далеко не монархисты. Показательно, что день открытия Государственной думы I созыва 27.IV.1906 семинария отпраздновала с молебствием и даже с праздничным пирогом, хотя правительственные учреждения в Ярославле работали как обычно. Осенью 1905 г. преподаватели не только не препятствовали революционной деятельности своих воспитанников, но порой даже вместо уроков «читали газеты и занимались разговорами с учениками, как бы заискивая у них расположения». О. Илиодор с самого начала ужаснулся и подал преосвященному письменный доклад, указывая, что как воспитанники, так и педагоги семинарии отличаются левыми убеждениями. Получил ответ, «что это не его дело».
Тем временем Св. Синод разослал по семинариям проекты семинарской реформы. Ярославские педагоги составили собственную редакцию «в самом современном духе», предлагая отменить даже обязательное для учеников посещение богослужений. На педагогическом совете возмущенный о. Илиодор, стуча кулаком по столу, высказал коллегам следующее: «Вы — кусочники, а не преподаватели. Почувствовали, что истинные ревнители и защитники Церкви теперь в загоне, так и уклонились влево. Нет, если вы, действительно, честные и искренние люди, так покажите это на деле. Проявите храбрость и не следуйте рабски за толпой безбожников и разрушителей». Когда же его попросили не стучать, он возразил: «Нет, стучать надо, только не по столу, а по физиономиям тех, кто страха ради иудейска забыл совесть и честь и примкнул к банде разбойников…».
Когда начались первые столкновения с учениками, о. Илиодор попросил назначить педагогическое собрание. Указание на предстоящую первую неделю Великого поста позволяет датировать это заседание началом февраля 1906 г. Присутствовали представители местного духовенства, в том числе законоучитель Ярославского кадетского корпуса, либеральный священник о. А. М. Кремлевский. Оскорбленный преподаватель добивался наказания для своих учеников, чтобы заставить их извиниться. Однако вместо поддержки получил ряд упреков за деятельность в «Союзе русского народа». Не оставшись в долгу, о. Илиодор нанес своим противникам «жестокое словесное оскорбление». В знак протеста группа преподавателей вместе с о. Кремлевским покинула заседание.
Затем начальство и педагоги семинарии составили журнал о невозможности совместной службы с о. Илиодором и подали на него преосвященному несколько жалоб. О. ректор желал привлечь неуживчивого преподавателя к духовному суду, а педагоги — к светскому, окружному, для чего просили копии с официальных бумаг о. Илиодора, который на письме был не менее резок, чем на словах. Со своей стороны, о. Илиодор убеждал преосвященного, что его коллегам как «развратителям» и «революционерам» не место в семинарии.
Архиеп. Иаков признал, что священник «стал в невозможные отношения» к начальству и сослуживцам. Однако, «имея в виду молодость и неопытность иеромонаха Илиодора, владыка до последнего времени старался сдерживать его и охранять». Поэтому не давал хода полученным жалобам. Самому же иеромонаху он сказал: «Так нельзя, вы человек несуразный, то есть сумасшедший!».
Не найдя понимания, о. Илиодор направился в Петербург, чтобы подать в учебный комитет при Св. Синоде жалобу на своих сослуживцев, но и там получил ответ: «Так говорить и делать нельзя!».
28. III скончался викарий Ярославской епархии преосвященный Сергий (Воскресенский). На его кафедру назначили ректора о. Евсевия. О. Илиодор, считая его ответственным за укоренившиеся в семинарии революционные настроения, побудил «Союз русского народа» добиваться отмены назначения. Соответствующие телеграммы — в сущности, доносы, — были посланы Государю и духовному начальству, однако никаких последствий не имели. О. Евсевий был рукоположен во епископа, а положение о. Илиодора в епархии еще больше осложнилось.
Семинарское дело завершилось следующим образом. Младшие воспитанники благополучно занимались до летних каникул, которые ввиду осенних неурядиц начались позже обычного — 10 июня. Что до уволенных учеников, то среди них были заметны две тенденции: если 4-классники надеялись восстановиться в семинарии, то 5- и 6-классники махнули на нее рукой. Некоторые бывшие воспитанники 4 класса попросили учебный комитет при Св. Синоде о разрешении держать в августе переходные экзамены в 5-й класс. Ходатайство было передано на усмотрение преосвященного, вслед за чем, несмотря на просьбы благочиннических съездов и положительный отзыв педагогического совета семинарии, оказалось отклоненным. Воспитанники 5 и 6 классов обратили свои взоры на ближайшее высшее учебное заведение — Демидовский юридический лицей, профессора которого спешно исхлопотали у министерства разрешение принимать после экзаменов лиц, окончивших 4 класса духовных семинарий.