Кокто написал роман в клинике Сен-Клу, где проходил курс дезинтоксикации и набрасывал черновик «Опиума». Поводом к созданию произведения послужили рассказы Кристиана Берара о его знакомстве с близнецами Жаном и Жанной Бургуэн. Художник-декоратор Берар особым взглядом и в подробностях описал комнату, где они жили. «Брат и сестра обитали в замкнутом пространстве, жили как в термосе. Они не выносили микробов внешнего мира». Под впечатлением рассказов Берара Кокто начал свой роман. «Писал по четырнадцать страниц в день, страницы приходили сами собой: сегодня четырнадцать, и назавтра, и на следующий день. Я так гордился своим темпом и так хотел поделиться тем, что возникало во мне».
В беседах со своим другом Андре Френьо признавался, что никогда не был знаком с такой семьей, как описана в «Ужасных детях». «Все это не точный снимок, ты придумываешь и попадаешь в точку, поскольку успех идет оттого, что каждый говорит: „Смотри-ка, это соседи сверху“ или „соседи снизу“. Не говорят: „Это как у нас“, говорят: „Это как у других“».
Прототипом Поля стал один из близнецов — Жан Бургуэн. После смерти отца, случившейся в 1922 году, брат и сестра жили вместе с парализованной матерью на улице Родье. В феврале 1925 Жан Кокто встречает брата у одного американского приятеля и они вместе начинают захаживать в кафе «Бык на крыше». Кокто приучил своего друга к опиуму. Жан стал любовником известного французского поэта Макса Жакоба. Но в 1926 году он познакомился с семьей знаменитого французского философа Жака Маритена и принял католическую веру. Жанна — Элизабет покончила с собой в новогодний вечер 1929, бросившись в колодец, — через несколько дней после выхода книги. Жан Бургуэн впоследствии станет священником, примет сан, будет работать в лепрозории в Камеруне, где скончается от рака. Он сохранил к Кокто неослабевающее чувство. В одном из писем к нему он говорит: «Ни сила привычки, ни что бы то ни было не умалят ценности подарка, сделанного жизнью, позволившей приблизиться к тебе, тебя любить.»
После смерти поэта Жан Бургуэн писал своей подруге Жанне Кандауровой: «Жить на орбите Жана, в движении его радиоактивности было небезопасно для юноши. Но Жан был опасен лишь как светило. Он был неким „всеобщим братом“. <…> Великий поэт всегда неизмеримое благо для людей не только его времени, но и для рода человеческого. <…> Он был, и это тебя удивит, чрезвычайно девственен. Он и опиум курил девственно, подобно китайским мудрецам. В своих привязанностях он был чрезвычайно сердечен, тонок и воздержан, как редко бывает с людьми и даже поэтами».
Кокто часто упрекали, что «Ужасными детьми» он толкает молодежь к беспорядку, его иногда даже впрямую обвиняли в сатанизме и призыве к самоубийству. В течение всей своей жизни Кокто умолял внимательнее читать его произведения. В заметках о романе он пишет, что описываемые брат и сестра — «абсолютно чистые существа. Я это объясняю в книге, они живут, как две души в одной оболочке». В письме к Жану Бургуэну Кокто пытался объяснить, что вымысел не равен реальности: «Это не о тебе, не о вас. Ваша жизнь, которую я ОБОЖАЮ, позволила мне описать, откуда идет снег, это где-то очень высоко и очень напряженно и без человеческой опоры могло бы зависнуть. События в книге к вам не относятся. В общем, повторяю, все происходит очень высоко, и полагаю, ты не думаешь, что я способен на подлый поступок.» В «Портретах на память» есть еще один выпад против тех, кто не увидел исключительной невинности этих воистину детских персонажей: «Отвратительно и гадко вообразить инцест между этими братом и сестрой, между матерью и сыном, поскольку они — сама чистота, речь может идти о некоем моральном инцесте, но никак не о фараоновом браке!»