В 1878 году, после того как Чайковский покинул консерваторию, получив возможность, благодаря государственной пенсии и помощи Н. Ф. фон Мекк полностью посвятить себя творчеству, на его место приглашают его лучшего ученика — Танеева. Танеев получил классы гармонии, оркестровки, музыкальных форм и полифонии, то есть вел все музыкально-теоретические предметы. За 27 лет своей работы в консерватории Танеев выпустил множество учеников. Он стал главой московской композиторской школы, давшей миру Скрябина и Рахманинова, Метнера и Гречанинова, многих других, менее известных композиторов. В консерватории началась и научная деятельность Танеева, занявшегося очень серьезно изучением полифонии. Результатом этой деятельности стали обширные научные труды, не потерявшие своего значения и многие десятилетия спустя.
В 1881 году скончался основатель и директор Московской консерватории, учитель Танеева Н. Г. Рубинштейн. Чайковский писал об этом своему бывшему ученику сразу после смерти их общего старшего друга: «Вы как бы созданы для того, чтобы поддержать дело Рубинштейна. Думаю, что и в фортепианном классе, и в директорском кабинете, и за дирижерским пультом — везде Вы должны заменить Николая Григорьевича». Тогда же, в 1881 году, Танеев взял класс специального фортепиано, однако от директорства категорически отказался. Некоторое время директора не было вообще, и положение консерватории сильно ухудшилось: начался разброд среди профессуры, возникли материальные сложности. Несмотря на то, что в 1883 году был избран директорский комитет, который должен был ведать всеми делами, как творческими, так и финансовыми, консерватория все больше приходила в упадок. В этой ситуации стало ясно, что только такой авторитетный музыкант, как Танеев, может возглавить ее и возродить славные былые традиции. И с 1 сентября 1885 года он вступил в должность директора. Действия его были активными, и скоро в консерватории был наведен порядок. Появились и новшества — стали регулярными концерты-отчеты учеников, была организована музыкальная библиотека. «Директорство Танеева по общему своему направлению было как бы возвращением ко времени Н. Рубинштейна», — писал известный музыкальный критик Н. Д. Кашкин.
Однако избыток административной работы сильно тяготил музыканта. «Несмотря на то, что она (директорская должность. — Л. М.) мне приносит доход, дает положение в свете, во многих отношениях интерес сует и проч., я не могу заглушить в себе внутреннего стремления к такому устройству своей жизни, которое давало бы возможность самому мне распоряжаться своим временем, не быть в постоянной зависимости от условий, отрывающих меня от моего дела, занимающих мой ум разным вздором, до искусства не относящимся, принуждающих меня к деятельности, во многом противоречащей моим вкусам, наклонностям и привычкам», — писал музыкант Чайковскому в мае 1889 года, предупреждая его о том что уходит с поста директора.
Теперь он может полностью отдать себя творчеству и науке. Эти две области тесно связаны у композитора, отличающегося особенным отношением к композиторскому труду. В отличие от многих других, работавших быстро, иногда сочинявших словно бы «на ходу», почти без черновиков, у Танеева сложился свой собственный, ни на кого не похожий метод. Он считал, что художник должен творить не просто из внутренней потребности, а четко осознавать задачи, перед ним поставленные. А понять их можно, лишь изучив пути развития искусства. И он погружается в партитуры старинных мастеров, изучает их, сам пишет в их стиле. В этой напряженной длительной работе выковывается удивительная композиторская техника, о которой Римский-Корсаков, сам крупный мастер, сказал: «Перед таким мастерством чувствуешь себя совершенным учеником!» Он же описывает приемы Танеева: «Раньше чем приняться за действительное изложение какого-либо сочинения, Танеев предпосылал ему множество эскизов и этюдов: писал фуги, каноны и различные контрапунктические сплетения на отдельные темы, фразы и мотивы будущего сочинения, и только вполне набив руку над его составными частями, приступал к общему плану сочинения и к выполнению этого плана, твердо зная, какого рода материал он имел в своем распоряжении и что можно выстроить из этого материала».
Композитор проделывал всю эту работу потому, что считал: «Задача каждого русского музыканта заключается в том, чтобы способствовать созданию национальной музыки. История западной музыки отвечает нам на вопрос, что для этого нужно сделать: приложить к русской песне ту работу мысли, которая была приложена к песне западных народов, и у нас будет своя национальная музыка». И он действительно прикладывал колоссальную работу мысли, помимо вдохновения и мастерства, к своим произведениям.