На часть денег, полученных от Кокса, Адамс купил у него судно, которое тот согласился уступить за половину первоначальной стоимости, уплаченной Компанией. Несколько последующих дней Адамс провел, занимаясь подготовкой судна к плаванию в Кохинхину, и 1 января 1617 года отправился в Нагасаки для закупки канатов, парусов и прочего оборудования. Когда об этом стало известно Таканобу, новому молодому правителю Хирадо, он направил Адамсу резкое письмо, упрекая, что тот не купил необходимые товары на месте, в Хирадо. В качестве наказания он грозился запретить плотникам из Хирадо помогать Адамсу в ремонте судна.
Такая перемена в отношении правителя Хирадо к Адамсу самым очевидным образом подтверждала ослабление влияния последнего в Японии после смерти Иэясу. Особенно болезненно Адамс ощутил падение своего авторитета 19 марта 1617 года, когда отплывал из Хирадо в Кохинхину.
Встречный ветер заставил судно вернуться в порт, и пока Адамс ожидал подходящей погоды, какие-то родственники Ясимоно-доно, его «хозяина» из Хирадо, напали на него и взяли судно на абордаж, мстя за то, что ранее он отверг их грабительские притязания на часть груза олова, привезенного из Сиама во время предыдущего плавания. При этом один из японцев так сильно выкрутил Адамсу руку, что тот, опасаясь худшего, с трудом вытащил из-за пазухи госён — разрешение на морскую торговлю, — торжественно поднял его над головой и поцеловал, дабы показать, что находится под защитой Хидэтада. Это несколько отрезвило японцев и позволило избежать дальнейшего разбоя, ибо они тотчас покинули судно. Любопытно, что Адамс не пожаловался сёгуну на это нападение. Впрочем, он мог поступить так еще и потому, что хотел избежать какого-либо расследования, которое задержало бы его отплытие в Кохинхину.
23 марта наконец подул благоприятный ветер, и судно, которое Адамс назвал «Гифт-оф-год», отплыло из Хирадо. Адамс взял на борт Сэйерса. И хотя сам он больше не состоял на службе Ост-Индской компании, тем не менее время от времени оказывал Коксу услуги. Так и в данном случае Адамс разрешил погрузить на борт «Гифт-оф-год» товары, которые Сэйерс собирался сбыть для Компании в Кохинхине. Адамс также обещал Коксу постараться выяснить, что же все-таки произошло с двумя английскими купцами, Карварджем и Пикоком, которые отплыли в Кохинхину в марте 1614 года, но так и не вернулись.
Судно прибыло в Кохинхину 20 апреля 1617 года, и Адамс с Сэйерсом провели там около двух месяцев, занимаясь торговыми делами и наводя справки об исчезнувших Карвардже и Пикоке. Однако им так и не удалось узнать, при каких обстоятельствах были убиты оба купца, равно как и вытребовать для Ост-Индской компании компенсацию за товары, похищенные после убийства. Наконец, окончательно убедившись, что дальнейшее расследование не даст никаких результатов, 1 июля Адамс и Сэйерс отправились в обратный путь и 11 августа 1617 года прибыли в Хирадо.
За девять дней до их прибытия в гавани бросило якорь судно «Эдвайс», которое 1 февраля вышло из Хирадо в Бантам, чтобы приобрести там новые товары для английской фактории. Помимо товаров на нем были доставлены в Хирадо 15 японских моряков, которые четырьмя годами раньше вместе с Сэрисом отплыли на «Клоуве» в Англию, а теперь на другом английском судне вернулись в Бантам. По прибытии в Хирадо японские моряки заявили, что часть жалованья, которую в качестве аванса им выдал Сэрис, когда они еще находились в Японии, в действительности была безвозмездным даром, а не авансом. Поэтому теперь они требовали от Ост-Индской компании недоплаченную, как они утверждали, часть жалования.
Моряки, несомненно, рассчитывали найти в лице Адамса сторонника и были возмущены, когда он отказался поддержать их претензии. Чтобы выразить свое негодование, они все вместе отправились к дому, в котором тот проживал в Хирадо, и некоторое время осыпали его оскорблениями, а затем схватили с намерением избить. Адамс решительно сопротивлялся и с помощью находившихся в доме других японцев ему удалось отразить нападение. Новое оскорбление, последовавшее сразу после того, что произошло на борту «Гифт-оф-год», не могло не встревожить Адамса, поскольку оно свидетельствовало о том, что он уже не имел в Японии прежней силы. Во времена Иэясу нападение какого-нибудь японца на Адамса было столь же немыслимым, как и покушение на самого сёгуна. Сама возможность подобных унижений являлась грустным подтверждением того, что англичанин не мог больше рассчитывать на благосклонность и защиту двора, какой пользовался ранее.