Даже если английские и голландские моряки и не совершали никакого серьезного преступления, вызывавшего гнев японских властей, их репутация была сильно подорвана тем, что они брали в долг деньги, а затем не могли или не желали их отдавать. Поэтому японцы арестовывали должников, и часто «Флот зашиты» вынужден был отправляться в рейс с неполным экипажем, так как многие матросы, вместо того чтобы бороздить морские просторы, в это время «отдыхали» в японских тюрьмах.
2 августа 1622 года из английского штаба в Батавии пришло известие о выходе английских судов из состава «Флота защиты». В атмосфере постоянного недоверия между англичанами и голландцами, непрекращающихся скандалов и полной необузданности моряков капитаны обеих сторон, должно быть, с облегчением восприняли эту новость. Так распался лихорадочный и недолгий англо-голландский альянс на Дальнем Востоке.
Среди прочих приказов, прибывших из Батавии, один, вероятно, возымел на Кокса и других купцов в Хирадо действие разорвавшейся бомбы, так как он гласил о безотлагательном закрытии фактории и немедленном их прибытии в Батавию. Совет английских купцов в Батавии вынес это решение в основном потому, что фактория в Хирадо не приносила тех прибылей, на которые они рассчитывали. Другой же причиной явилось то, что до них дошли слухи о недобросовестном отношении Кокса к своим обязанностям, и о том, будто он, как, впрочем, и другие купцы в Хирадо, вел непристойный образ жизни. Об этом писал руководству Ост-Индской компании Ферсленд — глава английских факторий в Батавии: «Если все, что нам о них рассказали, — правда, то ужасно сознавать, как люди в таком почтенном возрасте так предаются чувственным утехам, не понимая даже, что тем самым приближают свой конец». Однако все эти донесения оказались правдой, так как Кокс и другие английские купцы с большим комфортом обосновались в Хирадо. Они завели себе японских «жен», которых время от времени меняли, и не жалели ни времени, ни денег на развлечения вместе со своими японскими и голландскими коллегами. На частых вечеринках, которые продолжались до самого утра, поглощалось огромное количество спиртного, а представления японских танцовщиц придавали этим пирушкам разнообразие и пышность.
Понятно, что при таком образе жизни Коксу и его друзьям не очень-то хотелось уезжать из Японии, и поэтому он ослушался приказа из Батавии на том основании (впоследствии это подтвердилось), будто дела фактории требуют его присутствия там до тех пор, пока он не приведет их в порядок. Президент Ферсленд был сильно рассержен неповиновением Кокса, и 2 мая 1623 года послал в Хирадо Кокрема на судне «Балл», уполномочив его закрыть там факторию, а Кокса и его друзей, если потребуется, насильно доставить в Батавию. Ферсленд передал Кокрему письмо для Кокса, и когда тот прочитал его, то, должно быть, понял, что упорствовать далее бессмысленно, так как Ферсленд был настроен весьма сурово.
«М-р Кокс и прочие (презрительно писал Ферсленд)! Вопреки нашим ожиданиям и строгому приказу, на «Палсгрейве» и других наших кораблях «Флота защиты» вместо Вашей собственной персоны к нам прибыли лишь несколько писем от Вас лично и от остальных, что ни в коей мере не компенсирует невыполнения Вами нашего приказа, и, кроме того, в них не содержится никаких веских причин, оправдывающих Ваше столь страшное неповиновение. Нам неизвестно, что побудило Вас так поступить, однако за столько лет службы следовало бы уже представлять, какими последствиями чревато подобное невыполнение распоряжений свыше. У нас нет сомнений, что, призови Вас к строгому ответу, как Вы того заслуживаете, Вам нечем будет оправдать свои действия. Но будем считать, что такое поведение обусловлено скорее Вашим неведением, нежели каким-либо преднамеренным проявлением неуважения по отношению к нам. Мы будем снисходительны в надежде, что на этот раз Вы наконец подчинитесь нашему повторному распоряжению, которое мы посылаем с нашим любезным другом Джозефом Кокремом, назначенным старшим купцом на все время плавания «Балла». В немалую сумму нам обошлось снаряжение этого корабля, чтобы специально отправить его за Вами и остальными служащими фактории, а также за всем имуществом Компании, которое находится в Японии, — все это особо оговаривается в распоряжении и инструкциях, данных Кокрему. Итак, от имени и по поручению руководства нашей достопочтенной Компании приказываю, чтобы Вы, Кокс, передали все деньги, товары, обязательства, принадлежащие достопочтенной Компании, Джозефу Кокрему; а лично Вам, Ричард Кокс, а также Уильяму Итону, Эдмонду Сэйерсу и Джону Остервику следует всем до одного отплыть в Батавию. Настоятельно требую, чтобы вышеуказанный приказ был выполнен безоговорочно, в противном случае Вы сурово ответите за свое (непослушание)…