Поэтому Кокс немедленно заставил Адамса тщательно проверить текст нового пожалования, полученного ими от Хидэтада, дабы убедиться, что оно идентично, как они до сих пор полагали, прежней дарственной на привилегии от Иэясу. Ранее англичанам разрешалось вести торговлю в любых районах империи, где бы они ни пожелали. К ужасу обоих, оказалось, что новое пожалование Хидэтада ограничивало район торговли англичан одним Хирадо. Дурные известия от Викхема полностью подтвердились.
Кокс тотчас же решил вернуться ко двору в Эдо и попытаться добиться от Хидэтада восстановления прежних привилегий. Поэтому, проведя еще одну ночь в Хэми, он вместе с Адамсом и Итоном вновь отправился в Эдо. Перед отъездом Кокс спросил госпожу Адамс, сколько он должен ей за оказанное гостеприимство. Услышав, конечно, в ответ, что ничего, он выразил желание все-таки отблагодарить ее. Кокс вручил жене Адамса, хозяину, а также двум их детям подарки, не забыв при этом и слуг — он передал им через Адамса деньги и просил Адамса поблагодарить от его имени за оказанные ему услуги.
2 октября Кокс, Адамс и Итон прибыли в Эдо. Адамс немедленно встретился с некоторыми высшими чиновниками и уведомил их, что новая дарственная на привилегии содержит ряд ограничений, которых не было в предыдущей. В ответ на просьбу пересмотреть условия дарственной он получил категорический отказ. Даже когда Кокс, вмешавшись, добавил, что если англичанам будет разрешено торговать только в Хирадо, то им ничего больше не остается, как упаковать вещи и покинуть Японию, японские чиновники были непреклонны в своем нежелании пересмотреть условия торгового соглашения. В надежде, что все же удастся добиться желаемых результатов, Адамс и Кокс провели при дворе еще несколько дней, но их упорство не принесло плодов, и 15 октября Хидэтада объявил, что его решение ограничить впредь английскую торговлю портом Хирадо является окончательным.
Однако в знак своего особого расположения к англичанам сёгун предоставил торговцам право через их японских посредников распродать те товары, которые к тому времени хранились в других местах, помимо Хирадо. Однако после распродажи всех этих товаров новых поступлений туда не допускалось, и в будущем англичане могли заключать торговые сделки лишь в Хирадо.
Таким образом, несмотря на все усилия Адамса и Кокса, им удалось получить от сёгуна право на сохранение лишь одной маленькой концессии. В Хирадо они возвращались с чувством тревоги за судьбу торговых предприятий английской фактории в Японии. В довершении всех неприятностей 21 октября, когда они ехали по проселочной дороге, из кустов выпорхнула какая-то птица, и лошадь Адамса так резко шарахнулась, что он упал и вывихнул правое плечо. Страдающего от сильной боли Адамса перенесли в ближайший дом и послали за японским костоправом. Адамс был не в состоянии продолжать путешествие и остался на несколько дней до выздоровления в этом доме, а Кокс и Итон отправились дальше. 2 ноября Адамс присоединился к ним в Киото. Ему стало значительно лучше, хотя плечо продолжало болеть, и 4 декабря 1616 года трое усталых и опечаленных путешественников наконец прибыли в Хирадо.
Вскоре после этого Адамс решил прекратить деловые отношения с Ост-Индской компанией. По условиям подписанного 24 декабря 1613 года контракта он обязывался служить компании в течение двух лет, но когда формально срок договора истек, Адамс продолжал свою деятельность в интересах компании, хотя никакого официального продления контракта не было. Однако условия службы устраивали его все меньше и меньше, и в феврале 1616 года он уже просил Кокса уведомить правление компании, что считает свое жалованье недостаточным и если размер вознаграждения не повысят, то он не станет более работать. Наступил октябрь 1616 года, а Адамс все еще не получил от Кокса никакого ответа, и тогда он решил впредь считать себя свободным от обязательств. Поэтому 14 октября 1616 года он написал письмо Якову Спексу, главному торговцу голландской фактории в Хирадо, предлагая голландцам свои услуги. Тогда же он сообщил Коксу, что прекращает службу в английской Ост-Индской компании. Это известие огорчило Кокса, но он сознавал, что не может предложить Адамсу более высокий оклад. Таким образом, 24 декабря 1616 года, через три года и один месяц после поступления на службу в Ост-Индскую компанию, Адамс получил от нее окончательный расчет и снова стал вольным коммерсантом.