Годолфин продолжал уверять двор в Мадриде, что его король не причастен к разорению Панамы. 9 (19) августа он имел аудиенцию у королевы, во время которой энергично убеждал ее, что король Карл удручен случившимся. В то же время, следуя инструкциям лорда Арлингтона, посол добавил, что, если испанцы предпримут враждебные действия против англичан и попытаются захватить Ямайку, король Великобритании «будет вынужден отомстить за это».
В условиях, когда Испания не располагала средствами для ведения войны против Англии, королева взяла себя в руки и ответила Годолфину, что удовлетворена заверениями короля Карла о его непричастности к панамскому инциденту.
Графде Молина, вернувшийся послом в Англию, потребовал от британского правительства суда над Морганом. Карл готов был пойти на уступки испанской стороне. Впрочем, всю вину за сожжение Панамы он возложил не на командующего и участников панамской экспедиции, а на Модифорда.
Новым вице-губернатором Ямайки еще 23 сентября (3 октября) 1670 года был назначен протеже графа Карлайла полковник Томас Линч (в декабре он был торжественно возведен в рыцари и стал сэром Томасом Линчем). Петиция Совета Ямайки, купцов и плантаторов о продлении полномочий Модифорда была проигнорирована. В начале января 1671 года король подписал инструкции Линчу, к которым прилагались королевский указ о его назначении и документ, отменяющий губернаторские полномочия Модифорда. Однако из-за бюрократических проволочек новый вице-губернатор смог получить все необходимые документы лишь в конце зимы, в Вест-Индию отплыл в апреле, а в Порт-Ройял прибыл с двумя военными кораблями — «Эсистенс» и «Уэлкам» — 25 июня (5 августа).
На причале измученных долгим переездом Линча и его семью приветствовали Модифорд и Морган. Затем новый правитель Ямайки был приглашен на официальный обед в дом Модифорда, где присутствующим зачитали королевскую прокламацию об отставке прежнего губернатора. В письме лорду Арлингтону вице-губернатор заметил: «Люди были не очень довольны».
28 июня (8 августа) в Сантьяго-де-ла-Веге (Спаниш-Тауне) состоялось заседание Совета Ямайки, на котором было решено «немедленно объявить, что все, сделанное в рамках закона, изданного от имени сэра Томаса Модифорда, остается в силе до следующего верховного суда и что все мировые судьи должны продолжать исполнять свои обязанности в силу их поручений от сэра Томаса Модифорда, пока новые поручения не будут выданы».
В приватной инструкции король предписывал Линчу, что, «как только он возьмет под свой контроль управление и форт [форт Чарлз], во избежание каких-либо осложнений… ему необходимо арестовать сэра Томаса Модифорда и отправить домой под усиленной охраной, поскольку вопреки ясным распоряжениям короля он совершил многие преступные и враждебные акции против подданных доброго брата Его Величества — Католического Короля».
В вину Модифорду могли поставить не только поощрение антииспанских экспедиций в те годы, когда на официальном уровне в англо-испанских отношениях наметилось потепление, но и утаивание от короны значительной части доходов от каперства. Отчеты самого губернатора о доходах и расходах Ямайки с 4 (14) июня 1664 года по 25 июня (5 июля) 1671 года, включая отчет о «пятнадцати процентах с призов в пользу Его Величества», показывают ничтожно малые поступления от захваченной флибустьерами добычи. Специальный отчет о призах охватывал период с 20 (30) августа 1665 года по 17 (27) ноября 1667 года. В нем доля короля была оценена в 858 фунтов стерлингов 18 шиллингов и 3 пенса, что явно мало, учитывая активность флибустьеров в указанное время. Бухгалтер Модифорда Кэри Хиляр показал под присягой, что «отчет о пятнадцати процентах точно соответствует записям адмиралтейского суда», но это лишь усилило недоверие правительства как к отчетам, славшимся с острова, так и к деятельности адмиралтейского суда Ямайки. Еще более удивительным было утверждение Хиляра о полном отсутствии доходов от призов за период с 1668 по 1671 год, когда Морган совершил свои самые масштабные походы.
Модифорд и Морган догадывались, что их могут взять под стражу в любой момент, но оба держались молодцами, не проявляя и тени страха. Более того, Модифорд в течение следующих шести недель оказывал Линчу всяческую помощь в управлении делами колонии, а когда новый глава ямайской администрации заболел подагрой, великодушно предоставил ему жилье в собственном доме.
В мае 1671 года Чарлз Модифорд, сын опального губернатора, был арестован в Лондоне и заточен в королевскую тюрьму Тауэр в качестве «дополнительной гарантии» доставки его отца в Англию. В начале августа, когда эта новость достигла Ямайки, Линч понял, что настало время исполнить приказ его величества. 12 (22) августа он заманил сэра Томаса Модифорда на борт фрегата «Эсистенс» под предлогом, что хочет «кое-что передать ему от короля». Там в присутствии капитана Джона Хаббарта и четырех членов Совета Ямайки экс-губернатору показали указ о его аресте в наказание за то, что, вопреки строгим указаниям из Лондона, он санкционировал антииспанские действия флибустьеров.