Вальтер не смягчился до тех пор, пока Малер не выполнил свое предсказание и едва не умер от переутомления. Приезд Вальтера в Вену положил конец «первому и единственному разладу в наших отношениях», однако отношение его к Малеру оставалось двойственным — нескольких раз Вальтер угрожал отставкой, жалуясь на то, что критики нападают на него, как всего лишь на суррогат Малера.
Вальтер был единственным членом добрачного круга друзей Малера, пережившим появление Альмы, с которой он подружился, осознанно преследуя собственные интересы, — и она ответила ему тем же самым. Он и сам создал молодую семью, но обнаружил, что домашнее блаженство загадочным образом насылает на его дирижерскую руку приступы онемения, граничащие с параличом. Вальтер решил, что подавляет в себе «фаустианские» устремления, и обратился к Зигмунду Фрейду, который порекомендовал ему взять долгий отпуск.
После удаления Малера он остался в подчинении Вайнгартнера, однако, когда Вена вторично отказала ему в праве занять высший пост, Вальтер сменил Мотля, в качестве главы Мюнхенской оперы, и оставался им одиннадцать лет, пока все возраставший антисемитизм, существование которого он признавать отказывался, не вынудил его уйти. После этого он дирижировал в родном Берлине, заменял Фуртвенглера в Лейпциге, возглавлял немецкие оперные сезоны в Лондоне, выступал в Америке и привез из Советского Союза Первую симфонию Шостаковича. Вальтер был первым из всех дирижеров, обладавших «способностью завоевывать привязанность широкой аудитории в большинстве частей света», а музыка, которую он исполнял, описывалась как «благородная и исполненная сострадания». Когда нацисты изгнали Вальтера из Германии и Австрии, свободные страны дали ему и гражданство, и работу. До конца своих дней он вел в Соединенных Штатах жизнь богатого человека, время от времени возвращаясь, под оглушительные овации, в послевоенную Европу — любимый повсеместно «дирижер-гуманист».
Те, кто знал Вальтера близко, видели в нем человека совсем иного. «Вальтер был подлой, мерзкой свиньей», — таким запомнила дирижера Анна Малер и таким изваяла его в камне. Дочери Малера внушало отвращение его нежелание помогать беженцам, не столь удачливым, как он, ее привел в ярость отказ Вальтера прийти на помощь престарелому Арнольду Розе, ветерану-концертмейстеру Венского филармонического, нищенствовавшему после «аншлюса» в Лондоне. Когда Анна попросила Вальтера пожертвовать средства на пропитание ее бывшего зятя и прежнего партнера самого Вальтера по исполнению камерной музыки, тот сослался на бедность и расщедрился всего на несколько сотен долларов. На следующий год он, нежась под калифорнийским солнцем, потребовал возврата своей «ссуды».
Вальтер не позволил осиротевшей скрипачке из семейства Розе участвовать в его мюнхенских репетициях, несмотря на просьбы друзей Малера. Он использовал свое положение для того, чтобы обеспечивать привилегии людям известным, и был слишком надменен, чтобы думать о нуждах молодых музыкантов и пытающихся пробиться композиторов. Малер же, напротив, любил общество одаренных молодых людей и втайне подкармливал из собственных средств голодную семью Арнольда Шёнберга. «Вальтер — великий дирижер, — признавал Шёнберг. — Однако в частной жизни, — прибавлял он в письме, которому долго не давали возможности увидеть свет, — он всегда был гнусной свиньей, и одна только мысль о нем вызывала у меня тошноту». Эта «свинская» метафора нашла себе место во множестве карикатур. Коллеги, преклонявшиеся перед его искусством, с презрением отзывались о нем, как о человеке. Даже Тосканини, дружбой с которым он похвалялся, называл его «сентиментальным дураком».
Его внешняя респектабельность зеркально отражала таковую же Томаса Манна, прикрывавшего свою гомосексуальность выводком из шести детей. Дочери Вальтера заплатили за изъяны отца по самой высокой цене. Младшая покончила с собой после катастрофического супружества; старшая лишилась чувств, когда он объявил — сразу после кончины ее матери: «Что ж, теперь я смогу жениться на Делии». И, увидев дочь, ничком лежащую на полу, со вздохом облегчения добавил: «Хотя, с другой стороны, может, и не стоит».
Вальтер был лицемером, антитезисом малеровской морали, лишь маскировавшей его человеческие проявления. Религиозные ценности и «уничижение перед творением», выражаемые в музыке, которую он исполнял, пародировались нормами его личного поведения, которые могли бы остаться и незамеченными в каком-нибудь торговце автомобилями, однако вступали в противоречие с потребностью Вальтера священнодействовать. Церковь, писал он понимает, почему она использует в наиболее торжественных своих отправлениях мощь музыки. Бессловесное евангелие музыки провозглашает на понятном всем языке то, к чему стремится за гранью этой жизни жаждущая душа человека. Мне же была дарована благодать непосредственного служения музыке.