Однако за время первой же длительной беседы восторг и радость встречи стали постепенно утихать. Более того, у Адамса и Сэриса они сменились взаимной антипатией, которая осталась у них на всю жизнь. Сэриса раздражали дифирамбы, которые Адамс расточал в адрес японцев. Впоследствии Сэрис записал в своем дневнике, что Адамс разговаривал и вел себя как «настоящий японец». Однако он постарался скрыть все растущее недовольство и недоверие к Адамсу, надеясь, что званый обед, который он дал в честь гостя, как-то скрасит первое неблагоприятное впечатление. После обеда он пригласил Адамса переночевать в своем доме и страшно оскорбился, когда Уильям отказался от этого предложения, сославшись на то, что уже пообещал каким-то японцам в Хирадо остаться на ночь у них в доме. Еще одним поводом к обиде послужил довольно грубый отказ Адамса от предложения английских купцов проводить его до того дома, где он остановился. После его ухода англичане единогласно пришли к выводу, что их первое впечатление о хваленом Уильяме Адамсе — не самое лучшее. По какому праву, говорили они, этот человек настолько заносится, что считает своих соотечественников недостойными появляться вместе с ним на людях…
Несмотря на такое оскорбительное поведение Адамса по отношению к ним, англичане понимали, что не могут себе позволить выразить неудовольствие. Они были настолько заинтересованы в Адамсе, который должен помочь им установить торговые отношения с этой страной, что не только скрыли свое раздражение, но и продолжали всячески выказывать Адамсу знаки глубочайшего почтения и расположения. Так, на следующее утро, 30 июля Сэрис дал еще один званый обед в честь Адамса, на этот раз на борту «Клоува», и снова английские купцы как могли развлекали Адамса, всячески стараясь угодить ему и расположить к себе, что было очень важно для дальнейших деловых переговоров с ним. Но не успел обед закончиться, как появился посыльный и сообщил Адамсу, что в Хирадо по срочному, делу его ждут какие-то португальцы и испанцы. Адамс, к великому и уже плохо скрываемому негодованию хозяев, извинился перед ними и поспешил на берег для встречи со своими португальскими и испанскими деловыми партнерами.
Сэрис, который отличался вспыльчивым и несдержанным характером, был вне себя от ярости, да и остальные не меньше возмутились поведением Адамса, столь неучтиво покинувшего своих соотечественников, с которыми не виделся долгие годы. И ради кого? Ради тех, кто с давних пор считался заклятым врагом Англии! Однако после того, как первые взрывы возмущения стихли, Сэрис и купцы серьезно призадумались над тем, каким же образом завоевать расположение Адамса и начать наконец деловые переговоры. Пришли к выводу, что необходимо преподнести ему в качестве подарка от Ост-Индской компании несколько рулонов ткани. 1 августа Сэрис лично от себя подарил ему шляпу, рубашку и носки, кожаные туфли, турецкий ковер и несколько рулонов ткани. В ответ на все эти роскошные дары Адамс со своей стороны расщедрился и подарил Сэрису баночку японского бальзама стоимостью, как потом выяснилось, 6 шиллингов. Нетрудно представить, что почувствовал английский капитан в тот момент, когда Адамс вручил ему этот более чем скромный подарок. Тем не менее, как впоследствии записал Сэрис в дневнике, он постарался скрыть свой гнев и «учтиво принял» эту маленькую баночку в ответ на богатые дары, преподнесенные Адамсу как лично от себя, так и от Ост-Индской компании.
На 2 августа у Адамса был запланирован визит к голландским купцам, которые в это время находились в Хирадо. После долгих колебаний он наконец согласился взять с собой Кокса, одного из английских купцов. Впоследствии Кокс доложил Сэрису, что по просьбе голландцев Адамс отчитался за товары, которые для них продал. Это доказывало, что Адамс работает на тех, кто являлся в то время самым серьезным конкурентом Великобритании на Дальнем Востоке. Это еще больше настроило против него Сэриса и других членов экспедиции.