Во второй половине 1840-х годов перипетии чиновничьей службы заносят А. Н. Серова в Крым: он назначается товарищем (заместителем) председателя симферопольского уголовного суда. Лет 60 назад в том же симферопольском уголовном суде служил советником и дед А. Н. Серова Карл Иванович Габлиц.
Приехавший из Петербурга чиновник, блестяще играющий на фортепиано, вскоре становится душою местного светского общества. Его друг Константин Званцев писал: «Натура Серова светлая, счастливая!.. Кто лично знал Серова, тот может себе представить, какое беспокойство и возня происходили везде, куда он ни являлся: шум, хохот, пение, бренчание на фортепиано не умолкали». Среди поклонниц Александра Серова – красавица греческого происхождения Мария Павловна Анастасьева (в девичестве Мавромихали). Молодой правовед и композитор увлечен ею. Весной 1846 года Серов сообщает в письме Стасову, что познакомился с женщиной, «стоящей всей его искренности, красивой и пламенной», из того известного в Крыму семейства Мавромихали, которому принадлежит теперь бывшее имение его деда Чоргун. Она, пишет Серов, старше его (ей – «с небольшим за тридцать лет») и в разводе с мужем, служащим где-то в Севастополе.
Красота М. П. Мавромихали и двух ее сестер оставила след в истории русского искусства: именно они позировали Карлу Брюллову для картины на сюжет поэмы Пушкина «Бахчисарайский фонтан».
В Крыму А. Н. Серов знакомится со знаменитым живописцем Айвазовским, посещает его мастерскую в Феодосии. В Симферополе присутствует на званом обеде в честь приезда в город актера М. С. Щепкина. На торжестве был и блестящий критик В. Г. Белинский.
Но служба, признается он в письме Стасову, угнетает его: «Кончится ли эта пытка хождения каждый день на службу, чтоб терять невозвратно лучшие часы в дне?.. Вот теперь едут к нам ревизоры, пожалуй, вздумают и мне дать нахлобучку, что я мало карабкаюсь в этой грязи». На досуге начинающий композитор пишет романсы на слова И. Тургенева и пробует сочинять оперу.
В отсутствие друга Вольдемар не забывает заходить в знакомый ему дом на Лиговке. «Меня чрезвычайно порадовало, – пишет Александр любимой сестре Софье, – что Вольдемар опять с вами: я знаю, что это необходимо и для него, и для вас, и знаю, что он сделался как будто членом нашего семейства».
Сестра Софья талантами не уступала брату, прекрасно играла на фортепиано и пела, и не Стасов ли назвал ее «второй Жорж Санд»? Вероятно, Серову было известно, что близкий друг его неравнодушен к сестре Софье. Но предложения руки и сердца от Вольдемара так и не последовало; Софья замуж вышла за другого – за подпоручика лесного департамента, француза по происхождению, Пьера Дютура. Их свадьба состоялась в конце апреля 1848 года. Находившийся в то время в Симферополе Серов глубоко сожалел, что ему не довелось лично поздравить молодоженов.
К тому времени Александр Николаевич твердо решил перебираться обратно в Петербург, тем более что туда же собиралась переезжать и М. П. Анастасьева со своими двумя уже подросшими сыновьями. Но сразу порвать с порядком опостылевшей службой не удалось: из Симферополя его перевели в Псков, где еще около года Серов прослужил в уголовной палате.
И как он завидует в это время сестре Софье, навещающей в сопровождении Стасова вернувшегося из Варшавы Глинку! Из писем он узнает, что сестра разучивает новые романсы Глинки и заслуживает полного одобрения маэстро. Стасов же позднее подтверждал, что Глинка восхищался талантом Софьи Дютур, присущими ее вокальному исполнению драматизмом и страстностью выражения чувств.
Вернувшись в отчий дом из Пскова в 1850 году, Серов заявляет отцу, что служить более не намерен и хочет посвятить себя музыке. Следует тяжелое для обоих объяснение. Николай Иванович взбешен своеволием сына и в гневе объявляет ему: раз так, то дорога в этот дом ему отныне закрыта и он лишает сына всякой материальной поддержки.
Но Александр Николаевич не меняет своего решения: он уже достаточно искушен в мировой музыкальной литературе, чему способствует и знание с детства нескольких иностранных языков. Мысли в голове есть, и худо-бедно он сможет прокормить себя писанием музыкально-критических статей в периодические издания. Со статей и рецензий, опубликованных Серовым в 1851 году в журналах «Современник» и «Библиотека для чтения», началась приобретавшая все больший размах его деятельность в области русского музыкального просветительства. Он пишет статьи об «Иване Сусанине» («Жизнь за царя»), «Русалке» Даргомыжского, о Моцарте, Бетховене, Листе…
В 50-е годы отношения с другом юности В. В. Стасовым становятся постепенно все прохладнее, и причина тому – скептическое отношение «Вольдемара» к опытам Серова в области музыкальной композиции. А на рубеже 50—60-х годов это охлаждение завершается окончательным разрывом отношений, и поводом к тому стали уже не столько разногласия в оценке тех или иных явлений в музыке, сколько дела сугубо интимные. С некоторым запозданием А. Н. Серов узнал, что Надежда, вторая дочь его сестры Софьи, рождена не от ее законного мужа Петра (Пьера) Федоровича Дютура, дослужившегося в Екатеринбурге, где жили супруги, до звания штабс-капитана корпуса лесничих, а от Владимира Стасова. Серов не одобряет тайную связь друга с Софьей и расценивает поступок Вольдемара как личное оскорбление. Он пишет Стасову очень резкое письмо. Так былая горячая дружба перешла в ожесточенную вражду. И с тех пор два ведущих музыкальных критика России не уставали пускать друг в друга ядовитые стрелы.
Еще в начале 50-х годов, когда переписка со Стасовым сохраняла прежнюю интенсивность, Серов признавался, что находится под сильнейшим впечатлением музыковедческих работ Рихарда Вагнера. Непосредственное знакомство с оперным творчеством Вагнера и с самим композитором произошло в 1859 году во время заграничной поездки Серова. Тогда его русский почитатель услышал несколько опер немецкого композитора, в том числе «Лоэнгрина», и высказал восторженные слова автору. Вагнер, убедившись, что имеет дело с тонким знатоком музыки, сыграл и спел Серову целый акт своего нового творения – «Тристана и Изольды». Рассказывая русским читателям об операх покорившего его немца, Серов назвал его «музыкальным Шекспиром».
В это время Серов пишет сестре Софье: «Вагнер не знает, какого он себе приобрел приверженца в России. А приверженность эта ни для меня, ни для Вагнера, ни для России бесполезною не останется».
Серов усиленно пропагандирует творчество Вагнера в своих статьях, лекциях, беседах с музыкальными деятелями. Он убеждает их поставить на русской сцене одну из опер композитора, а самого Вагнера пригласить с концертами в Россию. Вероятно, личное знакомство с Вагнером дало мощный толчок и собственному оперному творчеству Серова. В начале 60-х годов он завершает работу над оперой «Юдифь» на библейский сюжет и проигрывает ее своему новому другу, литературному критику Аполлону Григорьеву. О произведенном на Григорьева впечатлении сообщает Марии Павловне Анастасьевой: «Я его пронял с первой же сцены до слез, и он после в обществе литераторов (у Достоевских) говорил так: „Герцен врет, что искусство в наше время умерло. Хороша смерть искусства, когда пишутся такие вещи, как драмы Островского и 'Юдифь'“».
Между тем настойчивые хлопоты Серова относительно приглашения Вагнера в Россию увенчались успехом. Весной 1863 года Вагнер приезжает в Петербург по приглашению местного Филармонического общества. Серия концертов, которые Вагнер, дирижер и исполнитель собственных сочинений, дал в Петербурге и Москве, не только обеспечила ему успех в России, но и позволила значительно поправить материальное положение. Немалую роль в пропаганде творчества Вагнера сыграл в это время и Серов, откликаясь в печати на каждое выступление немецкого музыканта и композитора. Впоследствии в мемуарах «Моя жизнь» Вагнер писал о пребывании в России: «Моим частым гостем был Александр Серов, с которым я познакомился еще в Люцерне. Он посетил меня, как только я приехал в Петербург… (Он) заслужил мое уважение большой независимостью своего образа мыслей и своей правдивостью, которые в связи с выдающимся умом доставили ему, как я скоро узнал, положение одного из наиболее влиятельных и внушавших страх критиков».