В мадридском высшем обществе, соперничая друг с другом, первенствовали в то время по знатности происхождения, богатству и уму две дамы: герцогиня д'Альба и графиня Бенавенте. С обеими ими Гойя вел долголетнюю дружбу, писал для них картины, рисовал карикатуры и всяческие рисунки. Прекрасными фресками (бытовыми сценами из современной испанской жизни) были им украшены залы загородного дворца (аламеды) в окрестностях Мадрида графини Бенавенте, принадлежащего теперь по наследству герцогу д'Оссуна. Но когда впоследствии эти две дамы, герцогиня д'Альба и графиня Бенавенте, перессорились, то Гойя перешел на сторону герцогини д'Альба, молодой и красивой, тогда как соперница ее во франтовстве, роскоши и приключениях была стара и неприятна. Множество рисунков Гойи наполнены портретами в разных видах боготворимой им красавицы, в то же время множество рисунков посвящено карикатурам на комически молодившуюся и давно отцветшую старуху графиню Бенавенте. В то же время он стал рисовать едкие карикатуры и на королеву Марию-Луизу, потому что был душой и телом на стороне герцогини д'Альба, когда она стала в оппозицию к Марии-Луизе и изо всех сил всячески старалась выказать ей свою антипатию и независимость. Выведенная из терпения королева велела, в 1793 году, герцогине д'Альба удалиться от двора и отправиться в ее имение в Андалузии, Сан-Лукар. С нею вместе отправился туда и Гойя, которому велено было «уехать из Мадрида на два месяца для поправления здоровья». Только он прожил у герцогини в гостях гораздо дольше предписания. Он остался у нее в имений целый год: еще в Мадриде он успел сделаться самым интимным другом герцогини.
Но эта ссылка, кроме величайших блаженств, ознаменовалась для; Гойи и великим несчастием. У путешественников в дороге сломался экипаж; до ближайшей деревни было еще порядочно далеко, и Гойя, обладавший значительной силой, принялся поднимать свалившийся экипаж, а потом, подняв его, вздумал развести большой огонь, перед которым он долго возился, чтобы спаять что-то нужное в экипаже. Но после сильного напряжения и возни он схватил такую простуду и такое общее расстройство, что тотчас же стал терять слух и вскоре потом навсегда оглох. Со времени этого несчастного случая начинаются его постоянное дурное расположение духа и те бурные вспышки, которые иногда впоследствии отдаляли от него даже ближайших его друзей. Впрочем, Гойя был так наблюдателен и получил такую привычку следить за своим собеседником, смотря на движение его губ, что мог (особенно в первые годы) отгадывать все, что ему говорили.
Благодаря влиянию герцога Годоя (фаворита королевы Марии-Луизы и первого министра, покровительствовавшего Гойе, не взирая на все самые злые его карикатуры на себя) Гойя был в 1795 году избран председателем Мадридской Академии художеств. В это время известность и слава его в Испании достигли своего апогея. Королевская фамилия уже давно более на него не сердилась. Всю аристократию, весь двор обуяла неудержимая потребность иметь собственные портреты работы Гойи. Это сделалось в Мадриде привычкой высшего общества. Королевская фамилия подавала даже пример всем остальным. Гойя вдруг стал модным портретистом. Факт — очень странный: кисть у Гойи ничуть не мягкая и не нежащая, она иногда даже груба; он никогда не делал уступок вкусам публики, а сверх того был самого неуживчивого, неукротимого и вспыльчивого нрава. Он выходил из себя при малейшем замечании или противоречии того человека, с кого писал портрет. В английской биографии Гойи, помещенной в «Encyclopaedia Britannica» (1880, том XI), рассказывается, что когда знаменитый герцог Веллингтон сделал Гойе какие-то замечания насчет своего портрета, который тот в ту минуту писал, Гойя, придя в ярость, схватил гипсовую фигуру, лежавшую или стоявшую поблизости тут же в комнате и пустил ее в голову Веллингтону. Но, не взирая ни на что подобное, Гойе было дано еще при жизни отведать от полной чаши славы и присутствовать при своем триумфе.
Гойя принимал у себя весь двор и всю аристократию, давал праздники, куда приглашал грандов и королевских инфантов. Карл IV очень любил Гойю, и этот последний совершенно забывал с ним строгий испанский этикет. Много времени проводили они вместе на охоте, и оба были в совершенном восхищении друг от друга.
Гойя был теперь в самой силе своего таланта. Король поручил ему расписать фресками построенную им в 1792 году маленькую церковь св. Антония де ла Флорида, в ближайших окрестностях Мадрида, подле охотничьего королевского домика «Casa del campo». Гойя сделал тут свой chef d'oeuvre. Нигде он так не выказал своего блестящего чувства колорита и вместе своего стремления живописать повсюду и где бы то ни было Испанию, одну только Испанию и современных себе испанцев, по преимуществу современный себе испанский простой народ. Гойя исполнил эту огромную и сложную работу с невероятной быстротой- в течение трех месяцев 1798 года. Этими фресками он достиг высшей точки своей славы при дворе и у знати, а вместе с тем и высшей точки популярности у остального испанского народа.