По возвращении в Москву молодой и взбалмошный миллионщик Арсений Морозов загорелся идеей эпатировать Москву свежей заграничной модой, построив себе во второй — провинциальной и твердолобой, если не сказать реакционной — столице Российской империи дом в стиле дворца Пена, увиденного в далёкой Португалии. На участке, подаренном матерью, вскоре вырос необычный замок.
Ещё на стадии строительства он стал объектом насмешливых разговоров заскорузлых москвичей, породил кучу сплетен, слухов и критических газетных публикаций. Весьма консервативное общественное мнение Москвы восприняло экзотический особняк неодобрительно, как выражение крайнего эксцентризма, дурачества, глупости, культурного преклонения перед иностранщиной и купеческой спеси его юного хозяина.
Разговоры вокруг строительства даже нашли небольшое, но показательное отражение в романе Льва Толстого "Воскресение": князь Нехлюдов, проезжая по Москве, размышляет о строительстве "глупого ненужного дворца какому-то глупому и ненужному человеку", имея в виду архитектурную затею молодого и праздного миллионщика Арсения Морозова.
Существует легенда, будто бы Варвара Морозова, женщина своевольная, гневливая и острая на язык, посетив в декабре 1899 года только что построенный дворец сына, в сердцах сказала: "Раньше одна я знала, что ты — дурак, а теперь вся Москва будет знать!" Так нелепый и причудливый особняк получил обидное и несмешливое прозвище "Дом дурака". Что в стране, где чуть ли не главным положительным героем сказок был Иванушка-дурачок, являлось не столько показателем глупости, сколько маргинальной оригинальности и неординарности.
Арсению Морозову, прослывшему мотом и кутилой, недолго было суждено жить в роскоши своего экзотического и скандального замка. В 1908 году он на спор прострелил себе ногу, стремясь доказать, что человек способен вытерпеть любую боль. Вследствие запущенной раны, началась гангрена, переросшая в заражение крови и общую септицемию организма, от чего он скончался через три дня в возрасте 35 лет.
На чём скандальные приключения его странного дворца, однако, не закончились. Согласно завещанию взбалмошного хозяина, наследницей "Дома дурака" на Воздвиженке стала его любовница Нина Коншина. Законная супруга Арсения Морозова, Вера Сергеевна, с которой он не жил совместно с 1902 года, пыталась это мстительное завещание распутного мужа оспорить в судебном порядке, ссылаясь на психическое расстройство своего благоверного, и, следовательно, его правовую недееспособность.
Но, суд, увы, признал явно справедливые доводы вдовы Арсения Морозова юридически несостоятельными, и во владение домом вступила похотливая сожительница молодого и взбалмошного миллионщика, которая поспешила избавиться от объекта раздора по сомнительному наследству, быстро продав его нефтепромышленнику Леону Манташеву. У которого он был, в конце концов, "экспроприирован" революционным быдлом.
Скандалы, распутство и бардак продолжались в доме с дурной репутацией и после большевистского мятежа осени 1917 года, названного позднее Великой октябрьской революцией. Затейливый купеческий "Дом дурака" на Воздвиженке ненадолго стал штаб-квартирой партии анархистов. Но уже в мае 1918 года сюда переехала первая рабочая передвижная труппа театра "Пролеткульт".
В общежитии при театре проживали скандальные и распутные поэты Сергей Есенин и Сергей Клычков, к которым захаживали многочисленные маргиналы, их приятели по кутежам и попойкам. В начале 1920-х годов с бардачной театральной труппой сотрудничал Сергей Эйзенштейн, поставив в стенах причудливого особняка несколько авангардистских спектаклей.
В конце 1920-х годов замысловатое здание с плохой репутацией передали в ведение Наркомата иностранных дел. С 1928 по 1940 год там размещалось посольство империалистической Японии — до разрыва с ней дипломатических отношений. Во время войны в 1941-45 годах его сменили посольские службы ставшей нашей временной союзницей Великобритании и редакция лояльной Сталину, как бы английской газеты "Британский союзник". С 1952 года в течение двух лет — посольство Индии.