Дід маленького Ганса був теж різьбярем по дереву. Старий і немічний, він уже не міг працювати, але завжди вирізав з дерева різні химерні фігурки: людей із головами тварин, тварин з крилами, дивовижних птахів. Ці фігурки він складав у кошик, а потім ходив і дарував їх сільським дітям та жінкам. Багато таких подарунків мав і Ганс.
Маючи немічного чоловіка, бабусі доводилося самій працювати. Старенька доглядала садок при міській лікарні і часто приносила звідти своєму єдиному улюбленому внукові букетики запашних квітів. Хлопчик ставив їх у воду над скринькою, на якій він спав, і годинами милувався ними. Ліжка для нього не було де поставити в тісній комірчині.
Хлопчик завжди почувався щасливим і завжди знаходив для себе якесь заняття. То він уважно розглядав листя на кущику аґрусу: як воно розпускалося з маленьких бруньок, виростало, а на осінь жовкло, сохло і опадало, — то його увагу привертала якась комашка, квітка чи камінець. Усе для нього було живе, мало власну цікаву історію. Він помічав те, повз що інші проходили байдуже. Упродовж дня він міг сидіти тихо зі своїми іграшками, шити вбрання лялькам і грати у театральні вистави.
Одного разу батьки повели Ганса в театр, і відтоді театр став його мрією. Часто відвідувати вистави вони не мали можливості, але двічі-тричі на рік такі щасливі випадки траплялися. До того ж хлопчик завів дружбу з рознощиком афіш, і за те, що допомагав йому, той дарував своєму помічникові щодня одну афішу. Ганс читав заголовки п’єс, список дійових осіб і міг вигадувати цілі комедії, змішуючи все те, що чув від батька, що бачив у театрі, і ставити їх зі своїми ляльками.
Він ріс мрійливим, ласкавим хлопчиком, йому здавалося, що всі його люблять. Досі так і було. Ганс часто бігав до стареньких бабусь, які доживали свій вік у притулку для бідних, і вони розповідали йому безліч народних казок та різних історій, а потім він і сам починав їм розповідати те саме, тільки додаючи багато свого. Старі хитали головами і дивувались — який бо ж розумний хлопчик росте!
У школі, куди його віддали згодом батьки, Ганс був наймолодший. На перервах учитель гуляв з ним за руку, щоб його не збили з ніг старші учні. Його дивував цей незвичайний хлопчик. Якось учитель покарав старшого хлопця, який не вивчив урок. Нараз маленький Андерсен почав гірко плакати і просити, щоб учитель пробачив винного. Він не міг заспокоїтися, поки той не вибачив покараного.
Та ось Ганса спіткало перше велике лихо. Батько його все життя журився, що не міг учитися, не мав освіти, ніде не бував, нічого не бачив. І він вирішив стати солдатом. Йшли наполеонівські війни, Данія була в союзі з Францією, а Наполеон був улюблений батьків герой. В армії йому довелося бути недовго. Незабаром уклали мир, і Андерсен повернувся додому. Важкі солдатські походи похитнули його здоров’я, і він помер.
Життя стало дуже важким для малого Ганса. Мати щодня ходила на поденну роботу (ледь перебивалися з хліба на воду), а хлопця лишала напризволяще. Він був цілком поглинутий своїм ляльковим театром, своїми комедіями. Старенька вдова давала йому читати книжки, і він читав усе, що потрапляло до рук, і проштудіював трагедії Шекспіра і чимало інших класичних творів.
Багато однолітків Ганса, дванадцяти-, тринадцятилітні хлопці працювали на фабриці. Мати вирішила віддати на фабрику і Ганса. Спочатку все йшло гаразд. Хлопець не перевтомлювався на роботі. Він мав дуже гарний голос і частенько замість роботи співав, декламував цілі сцени з комедій Гольберга і трагедій Шекспіра своїм товаришам по роботі. Всі підмайстри і робітниці були дуже задоволені і охоче виконували за нього його частку роботи. Та ось один з підмайстрів почав жартувати, що Ганс не хлопець, а дівчина: і співає високим і ніжним голосом, і сором’язливий та тихий, як дівчинка. Жарти перейшли в глузування, і вдома хлопець, плачучи, сказав матері, що він більше нізащо не піде на фабрику.
Невдовзі мати вдруге вийшла заміж, знову за шевця, ще зовсім молодого. Ніяких прикростей від нього Ганс не зазнав. Вітчим був спокійний, тихий, але він зовсім не втручався у виховання хлопчика і не звертав на пасербка ніякісінької уваги. Сидить собі хлопець, годинами шиє лялькам вбрання, щось бурмоче до них, — ну й добре, що нікому не заважає. А мати навіть казала: це стане йому в пригоді, він обов’язково буде кравцем. Ні, син не хотів бути кравцем, не хотів йти в навчання до першого в місті кравця Стегмана.