Разумеется, Гайдн был счастлив, когда в конце концов оказался предоставленным самому себе, но пользы, которую принесли ему годы, проведенные в услужении, он никогда не отрицал. Этот опыт помог ему превратиться в одного из самых оригинальных — и влиятельных — композиторов своего времени.
Гайдн родился в семье колесных дел мастера в австрийской деревне Рорау неподалеку от венгерской границы. Его отец Матиас самостоятельно выучился играть на арфе и долгими зимними вечерами развлекался тем, что наигрывал народные мелодии. Второй сын Матиаса, Йозеф, с ранних лет подпевал отцу красивым высоким голосом. Родители отметили, что мальчик на удивление точно попадает в ноты. Рорау мало что могла предложить музыкально одаренному ребенку, и когда Гайдну было всего шесть лет, его отправили в город Хайнбург к пожилому родственнику, школьному учителю.
В Хайнбурге Гайдн провел два года, постигая различные премудрости, но по-настоящему заманчивые горизонты открылись перед ним, когда в городе побывал проездом директор капеллы венского собора Св. Стефана. Услышав, как поет юный Гайдн, венский музыкант определил его в соборный хор мальчиков.
Увы, мальчишечьим сопрано уготована короткая жизнь. Подростком Гайдн, беспокоясь за свое будущее, всерьез подумывал сохранить голос, пополнив ряды кастратов, но отец каким-то образом узнал о его планах и срочно выехал в Вену, чтобы помешать сыну их осуществить. Когда у Гайдна сломался голос, директор хора немедленно его уволил. Шестнадцатилетний юноша оказался на улице с тремя рубашками, потрепанным пальто и обширными музыкальными познаниями.
По счастливой случайности Гайдн встретил отзывчивого знакомого, который не позволил ему спать на улице. Спустя некоторое время Гайдн «разбогател» настолько, что смог снять себе жилье в Вене — убогую комнатенку на шестом этаже без печки и даже без окна; но он сумел наскрести на пианино, а больше ему ничего и не надо было.
Играя в венских оркестрах, изредка исполнявших его собственные сочинения, Гайдн постепенно привлек внимание знатных меломанов, и в 1759 году он получил место капельмейстера при дворе графа Карла фон Морцина. Таким образом у молодого человека появилось достаточно средств, чтобы жениться. Он влюбился в Терезу Келлер, дочь постижёра, но родители постановили отдать Терезу в монахини. Однако Келлеры, наметанным глазом увидев в Гайдне добротного жениха, уговорили его жениться на сестре Терезы — Марии-Анне.
Если этот союз и внушал кому-либо трепетные надежды, очень скоро они были развеяны в прах. Мария-Анна, будучи старше мужа, обладала сварливым характером, но ее самый непростительный изъян — с точки зрения мужа — состоял в том, что она совершенно не интересовалась музыкой. «Ей все равно, за кем быть замужем — за сапожником или художником», — жаловался Гайдн. Детей у них не было, и спустя несколько лет семейная жизнь свелась к сценам ревности и взаимным оскорблениям. По слухам, фрау Гайдн использовала партитуры мужа в качестве бумаги для выпечки.
Несмотря на семейные трудности, дела у Гайдна шли отлично. В 1761 году его взяли помощником капельмейстера к князю Палу Анталу Эстерхази, богатому и влиятельному венгерскому дворянину, имперскому фельдмаршалу и, кстати, покровителю музыкантов. Гайдну предписывалось дирижировать вышколенными оркестром и хором Эстерхази и сочинять музыку как для ежедневного пользования, так и для особых случаев, а взамен композитору полагалось завидное жалованье, уютное жилье и щедрая дотация на приобретение одежды. Семейство Эстерхази было настолько довольно Гайдном, что с ним не захотели расставаться, когда князь Пал Эстерхази умер и титул перешел к его младшему брату Миклашу, который позднее назначил Гайдна главным капельмейстером.
Высокая должность не отменяла того факта, что Гайдн оставался на положении слуги — в его контракте содержалось недвусмысленное требование ежедневно являться к князю за распоряжениями. Гайдн потратил немало сил и времени, угождая самолюбивому князю и придворным; его письма пестрят льстивыми фразами («лобзаю край вашей мантии»!), без которых обращение слуги к знатному вельможе было немыслимо. Одной из самых сложных обязанностей Гайдна было посредничество между оркестрантами и двором; за доброту и щедрость по отношению к музыкантам его прозвали Папа Гайдн.