4 октября 1594 года друг Саутгемптона, сэр Генри Денвер, застрелил Генри Лонга, брата сэра Уолтера Лонга, в ходе местной вражды между семьями Денверов и Лонгов. Сэр Генри и его старший брат, сэр Чарльз Денвер, бежали в Титчфилд, где их приютил Саутгемптон. Братья были объявлены вне закона и в конце концов бежали на континент, где нашли убежище при дворе короля Генриха IV.
17 ноября 1595 года Саутгемптон участвовал в турнире в день восшествия на престол королевы Елизаветы, заслужив упоминание в «Anglorum Feriae» Джорджа Пила, как «нежного и весёлого». Однако, по этому поводу, Акригг отметил его пошатнувшееся положение при дворе, так: «Возможно, он был мягким и добродушным, но мы никогда больше не услышим о том, чтобы Саутгемптон был высоко в милости королевы Елизаветы».
13 апреля 1596 года королева специально проинструктировала Роберта Деверо, 2-го графа Эссекса, не брать с собой ни Саутгемптона, ни графа Дерби в экспедицию по освобождению Кале, и также оказалось, что Саутгемптон не сопровождал Эссекса в экспедиции в Кадис тем летом. В феврале 1597 года Саутгемптон вызвал графа Нортумберленда на дуэль на рапирах, потребовав вмешательства королевы и Тайного совета, а 1 марта стал крестным отцом на крестинах дочери сэра Роберта Сидни Бриджит. Позже в том же году Саутгемптон был с Эссексом в его «бесславном» путешествии на Азорские острова, где, по словам Роуленда Уайта, «милорд Саутгемптон сражался с одним из великих людей короля Уорра и убил его». По возвращении он впервые появился в Палате лордов 5 ноября и был включён в несколько комитетов, но стал «хроническим отсутствующим». К этому времени он испытывал серьёзные финансовые трудности и передал управление своими поместьями двум попечителям, которые к концу года продали часть его земель.
В 1598 году Саутгемптон был вовлечён в дуэль при дворе с Амброзом Уиллоби, одним из оруженосцев королевы, который приказал ему покинуть приёмную, где он играл в карточную игру «примеро» после того, как королева удалилась на вечер. Саутгемптон ударил Уиллоби, и «Уиллоби лишился некоторых своих локонов», за что королева поблагодарила Уиллоби, сказав, что «он сделал лучше, если бы послал Хима в сторожку привратников, чтобы посмотреть, кто осмелился вытащить Хима». Есть предположение, что в основе ссоры лежали слова Уиллоби, которые вызвали неприятности между Саутгемптоном и его любовницей Элизабет Вернон, одной из фрейлин королевы. Королева запретила Саутгемптону появляться при дворе, хотя вскоре ему разрешили вернуться. Тем не менее в начале февраля, Роуланд Уайт сообщил, что «…милорд Саутгемптон очень обеспокоен тем, что её Величество часто использует гимн». Столкнувшись с финансовыми трудностями и немилостью королевы, Саутгемптон решил некоторое время пожить за границей и воспользовался возможностью сопровождать сэра Роберта Сесила в посольстве к Генриху IV французскому.
К 6 февраля Саутгемптон получил разрешение на двухлетнюю поездку за границу, и к марту он и Сесил были в Анже, где 7 марта Саутгемптон был представлен французскому королю.
Когда Сесил вернулся в Англию после своей неудачной миссии в апреле, Саутгемптон остался при французском дворе, планируя отправиться в Италию с сэром Чарльзом Денвером и сэром Генри Денвером, которым он помог бежать из Англии в 1594 году после убийства Генри Лонга. В этот момент королева решила помиловать братьев Денвер, и они возвратились назад в Англию 30 августа 1598 года. Тогда Саутгемптон по возвращению тайно женился на уже беременной, своей любовнице Элизабет Вернон, племяннице графа Эссекса. Но почти сразу же, уехал на континент во Францию. Но к 3 сентября королева узнала об этом браке и отправила Элизабет Вернон, одну из своих главных фрейлин, в тюрьму Флит за то, что она вышла замуж без королевского разрешения.
Королева приказала Саутгемптону немедленно вернуться в Англию, но он оставался в Париже в течение двух месяцев, проигрывая крупные суммы в азартных играх. К началу ноября он вернулся в Англию, также был заключён в тюрьму Флит, где пробыл месяц, в течение которого Элизабет Вернон родила дочь Пенелопу. Вдобавок к его трудностям, Саутгемптон в это время был вовлечён в спор со своей матерью, вдовствующей графиней, по поводу её предполагаемого брака с сэром Уильямом Херви. Лорд Генри Говард был приглашён, чтобы сгладить отношения между матерью и сыном, и графиня и Херви поженились в начале января 1599 года.
В 1599 году, во время Девятилетней войны (1595—1603), Саутгемптон отправился в Ирландию с Эссексом, который сделал его генералом конницы, но королева настояла на том, чтобы это назначение было отменено. Саутгемптон продолжал лично прислуживать графу, а не как офицер. Однако Саутгемптон был активен во время кампании и предотвратил поражение от рук ирландских повстанцев, когда его кавалерия отбила атаку на Арклоу в графстве Уиклоу.