Однажды в конце марта 1633 года Уильям Уэстон, граф Портленд, который находился у себя дома, услышал под окном стук лошадиных копыт и чей-то голос, зовущий его сына Джерома Уэстона. Открыв окно, они оба были поражены при виде Генри Джермина в ярком шёлковом костюме и с копной взьерошенных рыжих волос от быстрой скачки. Вице-камергер Генриетты Марии громко потребовал, чтобы сын лорда-казначея отправился с ним в Спринг-Гарденс, публичный сад между Чаринг-Кросс и Сент-Джеймским дворцом, чтобы сразиться на дуэли с графом Холландом за честь королевы. Хотя Портленд, в отличие от своего предшественника, не проявлял открытой враждебности к Генриетте Марии, он, тем не менее, как известно, стремился продолжать антифранцузскую политику Бекингема. Дело в том, что королева хотела, чтобы её мать, жившая в изгнании в Брюсселе, приехала в Лондон, но бережливый Портленд воспрепятствовал этому, убедив короля, что такой визит обойдётся казне очень дорого. Этого было достаточно, чтобы вызвать гнев Генриетты Марии и Джермина. Поэтому вице-камергер и его друзья, желавшие отстранить Портленда от власти, не хотели упустить возможности досадить лорду-казначея через его сына.
Весной 1633 года Джером Уэстон возвращался домой из Парижа, где он был послом. По пути он случайно встретил курьера с письмом, которое, как он думал, было написано графом Холландом. Вспомнив враждебность этого дворянина к его отцу, Уэстон завладел им. Открыв пакет, он обнаружил внутри письмо королевы, которое не осмелился развернуть, но по прибытии в Лондон передал его в руки короля в том виде, в каком его нашёл.
Холланд и Джермин, посчитав этот перехват прямым оскорблением королевы, увидели в нём также повод вызвать сына Портленда на дуэль. Однако лорд-канцлер не позволил ему ответить на вызов, и вместо этого отправил гонца к Карлу I с жалобой на Холланда и Джермина, нарушивших королевский указ о запрете дуэлей. Король приказал арестовать их. Холланд сразу извинился, а вот Генри, когда его призвали к ответу за свои действия перед Тайным советом, проявил «радражительное и насмешливое» упрямство. В этот раз ему изменила обычная обходительность, возможно, из-за того, что он ревновал Генриетту Марию к супругу, и его эмоциональное равновесие было нарушено.
-Честь королевы оправдывает мои действия! – надменно твердил он. – И никто не смеет говорить обратное!
Холланду было приказано удалиться в его прекрасный особняк в Кенсингтоне, который он приобрёл вместе со своей богатой женой Изабель Коуп, и оставаться там, пока король не разрешит ему вернуться. Генри тоже в течение двух месяцев оставался под домашним арестом, в то время как друзья и семья умоляли его извиниться перед Портлендом. Но, в конце концов, заскучав, он сдался и в начале мая 1633 года его освободили. Используя всё своё влияние на мужа, Генриетта Мария также добилась возвращения ко двору Холланда. Хотя и в дальнейшем Карл I стойко сопротивлялся попыткам жены и Джермина свергнуть Портленда, который оставался «первым министром» короля до своей смерти в 1635 году.
1633 год вообще выдался несчастливым для Джермина: не успела история с дуэлью забыться, как фрейлина королевы Элеонора Вильерс, объявила, что она беременна от вице-камергера. Возможно, намеренно избегая женщин из-за любви к Генриетте Марии, тот поддался искушению, желая забыться в объятиях племянницы Бекингема. Через некоторое время они расстались.
-…возможно, она ушла от Джермина, когда поняла, что может обладать только его телом, но никогда – его сердцем, - пишет Энтони Адольф.
Однако не успел Генри освободиться из-под домашнего ареста, как Элеонора обнаружила, что беременна. Но когда она сказала, что отцом её будущего ребёнка явялется Джермин, тот, к большому удовольствию сплетников и огорчению клана Вильерсов, публично объявил, что не женится на Элеоноре из-за отсутствия у него состояния.
-Каковы бы ни были причины королевы, она поддержала своего вице-камергера в его непреклонном решении, - добавляет автор книги «Королевский прихвостень».
Даже когда тётка Элеоноры, вдовствующая герцогиня Бекингемская, предложила Джермину колоссальную сумму в 8 000 фунтов стерлингов в качестве приданого, он не дрогнул. В ответ, во вторник 4 июня 1633 года, возмущённый оскорблением чести своей семьи, брат Элеоноры, лорд Грандисон, вызвал его на дуэль. Как обычно, известие о дуэли дошло до Карла I раньше самого события. Король очень заботился о нравственности придворных и в его царствование подобный скандал при дворе был, практически, первым. Вдобавок, он устал от поведения Джермина, поэтому отправил его, Грандисона и, в придачу, саму Элеонору, в Тауэр. В те времена это была не только крепость-тюрьма, но и королевская резиденция, и аристократическим узникам там «сиделось» неплохо. Поэтому, должно быть, прогуливаясь по королевскому саду или развлекая своих собутыльников, Джермин не слишком скучал. По приказу своего отца ему пришлось написать Карлу I красноречивый и аргументированный отчёт о своих отношениях с Элеонорой, который, как он надеялся, поможет обрести ему свободу: «С позволения Вашего Величества, мистер государственный секретарь Кокс передал мне приказ Вашего Величества, в соответствии с которым я вскоре сообщу Вашему Величеству, на каких основаниях я пришёл к выводу, что мисс Вильерс не подходит мне в жёны. Во время нашего первого знакомства, которое началось, когда она впервые появилась при дворе и сказала, что я ей очень обязан, между нами не было произнесено ни единого слова, касающегося брака; если бы это было так, я думаю, тогда она была бы в большей степени против, чем я сейчас. Впоследствии она подружилась с милордом Ньюпортским, которому, по его собственному признанию, она позволяла те же вольности, что и мне. После этого состоялось её знакомство с милордом Филдингом; и то, что он пользовался не меньшим её расположением, чем те, кто были до него, у меня есть доказательства - его собственное признание, что она часто клялась ему, что любит его больше, чем когда-либо любила меня; её горничная тоже готова подтвердить содержание прилагаемого письма, которое я посылаю Вашему Величеству. Она сама призналась мне, что любила милорда Филдинга больше, чем кого-либо на свете. Один джентльмен сказал двум влиятельным людям при дворе Вашего Величества, что, по его мнению, милорд Филдинг был с ней в такой позе, что мог сделать то, в чём меня обвиняют. Мне нет нужды утруждать Ваше Величество рассказом о том, что утверждала молва касательно близости этих двух персон, хотя Вы не можете расспрашивать никого об этом конкретном случае, который в значительной степени мог бы дать представление Вашему Величеству о том, насколько дерзким и неосторожно-скандальным это было. В уверенности, что этого будет достаточно для того, чтобы сохранить Вашу милость и зародить сомнение у Вашего Величества в справедливости того, что Вы предлагаете мне в жёны эту благородную женщину, я действительно скрываю многое, что в гораздо большей степени, чем всё это, способствовало бы моему оправданию и обвинению других. Если будет необходимо, я смогу сделать это, а пока не буду больше докучать Вашему Величеству, но сложу всё это к ногам Вашего Величества как самый смиренный и покорный слуга и подданный Вашего Величества».