После окончания консерватории положение музыканта оказалось неопределенным. Несмотря на бурные успехи, Сафонов не пригласил его на преподавательскую должность — сыграло роль родство с Зилоти и независимое поведение. Некоторое время Рахманинов живет частными уроками, осенью 1892 года впервые выступает в открытом концерте как пианист, причем на бис играет ставший впоследствии самым знаменитым прелюд до-диез минор с его колокольными звонами — одним из самых ярких типично рахманиновских образов. Небольшой доход дают первые издания — клавир и отдельные номера оперы, романсы, виолончельные пьесы.
В середине сентября 1893 года на одном из музыкальных вечеров у Танеева, бывшего центром музыкальной жизни Москвы, Чайковский показывал только что законченную Шестую симфонию. В тот же вечер Рахманинов представил на суд маститых музыкантов симфоническую фантазию «Утес» по стихотворению Лермонтова «Ночевала тучка золотая». Музыка понравилась и скоро была исполнена публично. Конец года принес тяжкие утраты: скончался Зверев, всеобщий любимец, которого хоронила вся музыкальная Москва. А вернувшись из Киева, где в октябре состоялась премьера «Алеко», причем Рахманинов дебютировал в качестве дирижера, он узнал о смерти Чайковского. Под впечатлением этой трагедии было написано Элегическое трио «Памяти великого художника».
Осенью 1894 года, ввиду неопределенности материального положения, музыканту приходится поступить в Мариинское женское училище преподавателем теории музыки. Это дает хоть какой-то заработок, а, кроме того, пятилетний педагогический стаж освобождает от военной службы. В училище Рахманинов часто играет на открытых вечерах, аккомпанирует хору, пишет хоровые пьесы. В конце 1895 года он отправляется в концертную поездку по городам запада России и Польши с итальянской скрипачкой Терезиной Туа.
Еще за несколько месяцев до того композитор начал работу над своей первой симфонией. Она была закончена к августу, партитуру автор послал в Петербург, надеясь на исполнение в «Русских симфонических концертах» — абонементах, организованных меценатом М. Беляевым, горячо поддерживавшим отечественных композиторов. К тому времени Рахманинов сблизился со многими петербуржцами и надеялся на добрый прием. Премьера симфонии состоялась 15 марта 1897 года и оказалась единственным прижизненным исполнением этого сочинения. «Сережа забрался на витую лестницу, ведущую из зала на хоры, — вспоминала одна из сестер Скалой. — Глазунов флегматично стоял у дирижерского пульта и так же флегматично провел симфонию. Он ее провалил. Кюи все время качал головой и пожимал плечами. Стасов и Беляев неодобрительно переглядывались… А наш бедный Сережа корчился на лестнице и не мог себе простить, что не сам дирижировал своим произведением, а поручил его исполнение Глазунову». Сразу после концерта Рахманинов уехал в Москву, принялся было за новую симфонию, но его душевное состояние было настолько тяжелым, что работать он не мог около трех лет. Естественно, резко критические и часто несправедливые отзывы в прессе еще более усугубляли кризис. Ноты симфонии были уничтожены. Через много лет, уже после смерти композитора, в фондах Беляева были разысканы оркестровые партии, по которым удалось восстановить партитуру.
С сентября 1897 года Рахманинов был приглашен дирижером в московскую Русскую частную оперу, организованную меценатом С. Мамонтовым, где пробыл два сезона. За это время он приобрел дирижерскую технику и сблизился с Шаляпиным. «Это я считаю одним из самых сильных, глубоких и тонких художественных переживаний всей моей жизни», — писал впоследствии композитор. С певцами Мамонтовской оперы Рахманинов работал и летом 1898 года: будучи на отдыхе в имении певицы Т. Любатович, Путятине, разучивал с ними новые арии, а с Шаляпиным, пожелавшим расширить свои музыкальные познания, занимался теорией, гармонией и историей музыки. Состояние здоровья постепенно улучшалось. Осень и зиму 1898 года по совету врача композитор проводит в том же Путятине, где в тишине и покое может, наконец, сочинять: создается Второй концерт для фортепиано с оркестром.
Первые зарубежные гастроли Рахманинова в качестве пианиста и дирижера, исполнителя собственных произведений — в Лондоне в 1899 году — прошли блестяще. После этого начались регулярные выступления музыканта за границей и в разных городах России. Успешно продолжается композиторская деятельность: кантата «Весна» на стихотворение Некрасова «Зеленый шум», написанная в 1902 году и исполненная почти сразу в Москве, а через три года — в Петербурге, была высоко оценена общественностью и получила Глинкинскую премию — приз, учрежденный меценатом-миллионером М. Беляевым для выдающихся произведений русского музыкального искусства. Появляются новые фортепианные миниатюры, романсы.