Красота М. П. Мавромихали и двух ее сестер оставила след в истории русского искусства: именно они позировали Карлу Брюллову для картины на сюжет поэмы Пушкина «Бахчисарайский фонтан».
В Крыму А. Н. Серов знакомится со знаменитым живописцем Айвазовским, посещает его мастерскую в Феодосии. В Симферополе присутствует на званом обеде в честь приезда в город актера М. С. Щепкина. На торжестве был и блестящий критик В. Г. Белинский.
Но служба, признается он в письме Стасову, угнетает его: «Кончится ли эта пытка хождения каждый день на службу, чтоб терять невозвратно лучшие часы в дне?.. Вот теперь едут к нам ревизоры, пожалуй, вздумают и мне дать нахлобучку, что я мало карабкаюсь в этой грязи». На досуге начинающий композитор пишет романсы на слова И. Тургенева и пробует сочинять оперу.
В отсутствие друга Вольдемар не забывает заходить в знакомый ему дом на Лиговке. «Меня чрезвычайно порадовало, – пишет Александр любимой сестре Софье, – что Вольдемар опять с вами: я знаю, что это необходимо и для него, и для вас, и знаю, что он сделался как будто членом нашего семейства».
Сестра Софья талантами не уступала брату, прекрасно играла на фортепиано и пела, и не Стасов ли назвал ее «второй Жорж Санд»? Вероятно, Серову было известно, что близкий друг его неравнодушен к сестре Софье. Но предложения руки и сердца от Вольдемара так и не последовало; Софья замуж вышла за другого – за подпоручика лесного департамента, француза по происхождению, Пьера Дютура. Их свадьба состоялась в конце апреля 1848 года. Находившийся в то время в Симферополе Серов глубоко сожалел, что ему не довелось лично поздравить молодоженов.
К тому времени Александр Николаевич твердо решил перебираться обратно в Петербург, тем более что туда же собиралась переезжать и М. П. Анастасьева со своими двумя уже подросшими сыновьями. Но сразу порвать с порядком опостылевшей службой не удалось: из Симферополя его перевели в Псков, где еще около года Серов прослужил в уголовной палате.
И как он завидует в это время сестре Софье, навещающей в сопровождении Стасова вернувшегося из Варшавы Глинку! Из писем он узнает, что сестра разучивает новые романсы Глинки и заслуживает полного одобрения маэстро. Стасов же позднее подтверждал, что Глинка восхищался талантом Софьи Дютур, присущими ее вокальному исполнению драматизмом и страстностью выражения чувств.
Вернувшись в отчий дом из Пскова в 1850 году, Серов заявляет отцу, что служить более не намерен и хочет посвятить себя музыке. Следует тяжелое для обоих объяснение. Николай Иванович взбешен своеволием сына и в гневе объявляет ему: раз так, то дорога в этот дом ему отныне закрыта и он лишает сына всякой материальной поддержки.
Но Александр Николаевич не меняет своего решения: он уже достаточно искушен в мировой музыкальной литературе, чему способствует и знание с детства нескольких иностранных языков. Мысли в голове есть, и худо-бедно он сможет прокормить себя писанием музыкально-критических статей в периодические издания. Со статей и рецензий, опубликованных Серовым в 1851 году в журналах «Современник» и «Библиотека для чтения», началась приобретавшая все больший размах его деятельность в области русского музыкального просветительства. Он пишет статьи об «Иване Сусанине» («Жизнь за царя»), «Русалке» Даргомыжского, о Моцарте, Бетховене, Листе…
В 50-е годы отношения с другом юности В. В. Стасовым становятся постепенно все прохладнее, и причина тому – скептическое отношение «Вольдемара» к опытам Серова в области музыкальной композиции. А на рубеже 50—60-х годов это охлаждение завершается окончательным разрывом отношений, и поводом к тому стали уже не столько разногласия в оценке тех или иных явлений в музыке, сколько дела сугубо интимные. С некоторым запозданием А. Н. Серов узнал, что Надежда, вторая дочь его сестры Софьи, рождена не от ее законного мужа Петра (Пьера) Федоровича Дютура, дослужившегося в Екатеринбурге, где жили супруги, до звания штабс-капитана корпуса лесничих, а от Владимира Стасова. Серов не одобряет тайную связь друга с Софьей и расценивает поступок Вольдемара как личное оскорбление. Он пишет Стасову очень резкое письмо. Так былая горячая дружба перешла в ожесточенную вражду. И с тех пор два ведущих музыкальных критика России не уставали пускать друг в друга ядовитые стрелы.
Еще в начале 50-х годов, когда переписка со Стасовым сохраняла прежнюю интенсивность, Серов признавался, что находится под сильнейшим впечатлением музыковедческих работ Рихарда Вагнера. Непосредственное знакомство с оперным творчеством Вагнера и с самим композитором произошло в 1859 году во время заграничной поездки Серова. Тогда его русский почитатель услышал несколько опер немецкого композитора, в том числе «Лоэнгрина», и высказал восторженные слова автору. Вагнер, убедившись, что имеет дело с тонким знатоком музыки, сыграл и спел Серову целый акт своего нового творения – «Тристана и Изольды». Рассказывая русским читателям об операх покорившего его немца, Серов назвал его «музыкальным Шекспиром».