Когда, по смерти архиепископа Нектария, возник вопрос о преемнике ему, то разрешить его было нелегко. Положение было весьма важное, и потому немало заявлялось притязаний на него. Аркадий не знал, что делать и кого предпочесть. Тогда выручил его из затруднения Евтропий. Как человек, не чуждый религиозности, он интересовался церковными делами и в бытность свою в Антиохии не преминул послушать знаменитого антиохийского проповедника. Иоанн произвел на него своими проповедями сильное впечатление, и теперь Евтропий и подсказал императору, как было бы хорошо для церкви столичного города его империи иметь во главе своей такого знаменитого пастыря. Аркадий согласился, и немедленно областеначальнику востока Астерию дано было тайное поручение взять и привезти Иоанна в столицу. Распоряжение было неожиданное и для Иоанна, и для антиохийского народа, и исполнить его было не легко. Антиохийцы ни за что не согласились бы добровольно расстаться со своим возлюбленным пастырем, а всякое насилие повело бы к мятежу. Поэтому дано было распоряжение взять Иоанна хитростью, что и сделано было Астерием, который, вызвав Иоанна за город как будто для совместного поклонения мощам св. мучеников, приказал взять его в колесницу, которая и помчалась в Константинополь. Смиренный пастырь, узнав о действительной цели его вызова за город, конечно, погоревал, бросая прощальный взгляд на родную Антиохию, где он так много трудился для блага своего возлюбленного народа; но, послушный Промыслу Божию, вполне примирился с этим обстоятельством и спокойно приближался к царствующему граду. Император милостиво встретил знаменитого пастыря и, чтобы придать больше торжественности и блеска его хиротонии, вызвал для этого многих епископов, которые во главе с патриархом александрийским Феофилом и рукоположили Иоанна 26 февраля 398 года в сан архиепископа константинопольского.
Теперь Иоанн не был уже простым пастырем-проповедником провинциального города. Он был архиепископом столицы, патриархом царствующего града, восседал на престоле второго Рима. Положение его было весьма высокое, но вместе с тем и трудное. Церковь константинопольская, основанная по преданию св. ап. Андреем, пережила много превратностей и со времени возведения Византии в степень столицы восточной империи приобрела великое, первенствующее на Востоке значение. Она в действительности была средоточием церковнорелигиозной и духовной жизни всего Востока. Но вследствие именно такого положения она сильнее всего и обуревалась различными веяниями. В столице находили себе приют и опору всевозможные лжеучения, которые быстро прививались среди легкомысленного, преданного наслаждениям населения, и приверженцы которых умели находить себе доступ даже к императорскому двору. Вследствие этого бывали времена, когда лжеучение, особенно арианство, нагло торжествовало свою победу в столице, угрожая совершенно вытеснить православие.
Так именно было еще недавно, при Григории Богослове, который, прибыв в Константинополь, с прискорбием видел, что все важнейшие четырнадцать церквей столицы находились в руках ариан, и православие ютилось только в одной домовой церкви, которая под его благотворным пастырством сделалась источником восстановления, или воскресения, православия. Но хотя православие было восстановлено, однако влияние лжеучения было так велико, что и этому великому архиепископу-богослову трудно было пасти столь распущенную и в духовном, и в нравственном отношении паству, и потому он вскоре по возведении его в сан архиепископа отрекся от этого высокого сана.
Преемником ему был избран Нектарий – из светских придворных сановников. Этот иерарх отличался благочестием, но он был слишком слаб для столичной кафедры, и хотя его правление было ровным и спокойным, однако все ясно чувствовали, что на престоле столицы требуется иной пастырь, который имел бы достаточно мужества для того, чтобы не только умолять, но и запрещать, и вообще показывать твердость церковной власти, когда потребуют того обстоятельства. У Нектария не было такого мужества, и потому после него столичная церковь осталась в довольно неустроенном состоянии. Народ, всецело преданный наслаждениям и страстям, не уважал своих пастырей, а последние, не исключая и епископов, вели также совершенно мирскую жизнь.
Все это глубоко поразило и огорчило Иоанна. Если он в Антиохии видел так много недостатков и пороков, с которыми и вел непримиримую борьбу, то там это были недостатки неразумной паствы, которая нуждалась во вразумлении со стороны пастырей; а здесь и сами пастыри требовали не меньших вразумления и наказания. И св. Иоанн сразу понял, на какое трудное и ответственное место поставлен он Промыслом. Еще в юности он сознавал всю высоту и тяжесть епископского служения и потому-то и уклонился от него, скрывшись от своего друга Василия. Теперь, помимо своей воли оказавшись на кафедре первенствующей церкви, он еще более мог убедиться в этом. Но теперь он уже не избегал тяжести своего служения. Напротив, поставленный на столь высоком и трудном месте, он как истинный пастырь церкви порешил показать себя достойным своего звания и мужественно вступил в отправление своего многотрудного служения.