Первым послушанием Николая в Оптиной было ухаживать за цветами, потом его назначили на пономарское послушание. У него была келлия, выходившая дверью в церковь, в ней он прожил двадцать лет, не разговаривая ни с кем из монахов: только сходит к старцу или духовнику и обратно. Сам он любил повторять, что для монаха есть только два выхода из келлии — в храм да в могилу. На этом послушании он часто опаздывал в церковь и ходил с заспанными глазами. Братия жаловались на него старцу Амвросию, на что он отвечал: "Подождите, Николка проспится, всем пригодится".
Под руководством своих великих наставников молодой послушник быстро возрастал духовно.
Послушанию старцу придавалось великое значение:
"Самая высшая и первая добродетель — послушание. Христос ради послушания Своему Отцу пришел к нам, и жизнь человека на земле есть послушание Богу". Уже в зрелые годы отец Нектарий и сам не раз говорил: "Без послушания человека сначала охватывает порыв, горение, а потом приходит расслабление и охлаждение. А в послушании сначала трудно, а потом сглаживаются все препятствия".
В молодости у него был прекрасный голос, а музыкальный слух сохранился и до старости. В первые годы своей жизни в Оптиной он пел в скитской церкви на правом клиросе и даже должен был петь "Разбойника благоразумного". Но в скиту был обычай: раз в год в Великий пост в скит приходил монастырский регент и отбирал лучшие голоса для монастырского хора. Брату Николаю тоже грозил переход из скита в монастырь, а этого ему не хотелось. Но и петь "Разбойника" было утешительно и лестно. И все же он в присутствии регента стал немилосердно фальшивить — настолько, что его перевели на левый клирос, и, конечно, больше вопрос о его переводе не поднимался.
14 марта 1887 года отец Николай был пострижен в мантию с именем Нектарий:
"Целый год после этого я словно крылышки за плечами чувствовал".
Он почти перестал покидать свою келлию, не говоря уже об ограде скита. Несколько лет окна его келлии даже были закрыты синей бумагой. В таком полузатворе отец Нектарий непрестанно молился и пребывал в постоянном покаянии. Позже он говорил:
"Сидел я в своей келлии и каялся, а потом еще 30 лет отмаливал свои грехи".
Уже в эти годы он исцелял больных, обладал дарами прозорливости, чудотворения и рассуждения, но скрывал эти дары под внешним юродством.
В это время он также усиленно читал святоотеческую литературу и занимался самообразованием, изучая светские науки и иностранные языки. В результате старец хорошо знал Священное Писание, свободно общался с образованнейшими людьми своего времени; с ним советовался и отдавал на его суд свои произведения К. Леонтьев. Отец Нектарий свободно цитировал по-латыни, легко говорил по-французски, читал наизусть Державина и Пушкина, а ученым с рациональным складом ума, приходящим к нему, мог научно объяснить и доказать те библейские события, в историчность которых они не верили. Кроме чтения духовных книг он занимался светскими науками, изучал математику, историю, литературу, латынь и французский язык, учился живописи у Д. М. Болотова (иеромонаха Даниила). Эта ученость старца особенно поражала, так как за его плечами была лишь церковно-приходская школа. Однако старец раскрывал свой секрет, говоря, что желающий стяжать истинные знания должен испрашивать на то помощи Божией.
Здесь постигло его другое искушение. Постоянное чтение дало ему, кончившему только сельскую школу, такие разносторонние познания, что он мог свободно беседовать на общекультурные и специальные темы, а не только духовные. Он мог говорить о Пушкине и Шекспире, Мильтоне и Крылове, Шпенглере и Хаггарте, Блоке, Данте, Толстом и Достоевском. В час отдыха после обеда он просил читать ему вслух Пушкина или какие-нибудь народные сказки — русские или братьев Гримм.
И вот, почерпнув из книг широту и многообразие мира, он страстно захотел путешествовать, чтобы своими глазами увидеть то, о чем читал. В это время в Оптину пришло предписание из Святейшего Синода отрекомендовать одного из иеромонахов во флот на корабль, назначенный в кругосветное плавание. Отец архимандрит предложил это назначение иеромонаху Нектарию. Тот так обрадовался и взволновался, что, придя от архимандрита, стал собирать вещи, забыв впервые о том, что в Оптиной ничего не делается без старческого благословения. Только через некоторое время он опомнился и пошел за благословением к старцу Иосифу. Но тот не благословил его на это путешествие, и отец Нектарий смирился.