Поскольку другие наказания не работали, отец сделал ему перерыв в съемках, пока Брюс не начнет вести себя прилично. Он запретил Маленькому дракону сниматься в продолжении «Малыша Чунга». До конца 1950 года Брюс не появился ни в одном фильме. После долгих уговоров Брюсу разрешили сняться в фильме «Раннее детство» (1951), но поскольку его поведение не улучшилось, запрет на съемки был наложен вновь. В карьере Маленького дракона настал двухлетний перерыв, до 1953 года.
Хой Чен и Грейс не были из тех родителей, что всеми силами заставляют своего ребенка делать карьеру, и они рассматривали возможность сниматься не как профессию, а как привилегию, которой можно лишить сына, если тот будет учиться плохо. Хой Чен рос в такой бедности, что не мог позволить себе посещать школу. Он не хотел, чтобы один из его сыновей остался без хорошего образования — или совершил те же ошибки, что и отец.
Гонконг был наводнен опиумом даже спустя сто лет после его захвата Великобританией. Колониальное правительство официально запретило его курение в 1908 году, но исполнялся этот запрет очень плохо. Вплоть до 1960-х количество опиумных наркоманов, особенно в сфере развлечений, продолжало расти. Одним из них был отец Брюса. «Это помогает моему театральному голосу, — утверждал Хой Чен, — и делает его нежнее». Опиум для актеров китайской оперы был как героин для американских джазовых музыкантов. В кантонском сленге существовал даже отдельный термин для курения опиума — «жевательная рифма».
Любимой ролью Хой Чена и его наиболее известным выступлением была пьеса «Два опиумных наркомана подметают дамбу» — комедия о двух исхудавших, зависимых от пагубной привычки людях, которых отправили на уборку в Гуанчжоу после того, как правительство запретило опиум. По сюжету оба актера, игравших главные роли — Ли Хой Чен и Сунь Ма Дзэ Цанг, — должны были вечер за вечером курить опиум на сцене.
Это был идеальный выбор для Хой Чена, который провел много часов за подробным изучением предмета. В его спальне стояла огромная кровать для курения опиума. Многие известные актеры и режиссеры посетили квартиру, чтобы принять дозу. «Папа любил лежать на правой стороне, оставляя левую сторону свободной для гостей, — говорит Фиби. В детстве она заслужила благосклонность отца, помогая ему и его друзьям. — Почему я лучше всех ладила с отцом? Он научил меня, как раскуривать трубку и давать ему».
Где-то в начале 50-х опиум все глубже и глубже затягивал Хой Чена в эйфорическое, сладкое забвение. Он утратил интерес к чему-либо, кроме сна и курения. По словам Грейс, он был ближе к детям, когда они были младше, но по мере их взросления изменился и утратил связь с семьей. «Большую часть своего времени он проводил в своей комнате, изучал что-то или просто спал. Он не сидел с семьей, если не считать приемов пищи». Позже Брюс рассказывал своей жене Линде, что отец был «словно родителем, проживающим отдельно» и из-за своей зависимости «мысленно витал где-то далеко, даже если стоял рядом».
Помимо эмоциональных издержек, были и финансовые. «Только богатые люди могли курить опиум в то время, — объясняет Фиби. — Ты не мог курить, если у тебя не было денег. Это была очень модная вещь!» Хой Чену нужно было кормить десять ртов, к которым добавлялась наркотическая зависимость. Расходы на зависимость и влияние, которое она оказывала на его актерскую деятельность, ставили под угрозу статус семьи в высших слоях общества. Брюс часто жаловался друзьям на «скупость» отца и отсутствие денег. Многие годы Грейс безуспешно умоляла мужа завязать с ужасной привычкой.
Зависимость отца привела к тому, что дети ударялись в свои природные наклонности. Чувствительный, прилежный Питер зарывался с головой в домашнюю работу и сосредоточился на индивидуальных видах спорта, став великолепным фехтовальщиком. Все в семье были уверены, что именно он первым поступит в колледж. В противоположность этому Брюс, казалось, отправится в тюрьму. Он проявлял большинство типичных симптомов ребенка, чей родитель злоупотребляет наркотиками: агрессия, недоверие к авторитету и чрезмерная потребность все контролировать.