Георг III не особенно переживал из-за нарастающего американского сопротивления. Он редко путешествовал и, как и его министры, полагался на доклады и свидетельства послов и старших офицеров. В среднем королевскому чиновнику из колоний требовалось полгода на то, чтобы доставить запрос Георгу III или парламенту и привезти ответ. В отсутствие оперативного взаимодействия и при зависимости от свидетельств и докладов, как достоверных, так и нет, король и большинство членов правительства лишь недоуменно пожимали плечами в ответ на претензии из колоний.
Премьер-министр Гренвилл и король Георг III относились друг к другу холодно. Король назначил Гренвилла на должность в 1763 году, потому что других кандидатов у него на тот момент не было, а предыдущему премьер-министру Георг III не доверял. Из-за колониальных протестов против гербового акта Гренвилл начал терять поддержку в Англии. На фоне этих протестов британские торговые компании заметили быстрое сокращение торговли с колониями – колонисты отказывались возвращать долги, вести торговлю и даже бойкотировали закупку британских товаров. Джордж Вашингтон в одном из писем 1774 года открыто писал, что колонисты не согласны с тем, что «британский парламент вправе без разрешения забирать деньги у них из карманов, в то время как они не могут ответить тем же».
Первые признаки психических отклонений начали проявляться у Георга III в 1765 году. Они были связаны с биполярным расстройством, а не порфириновой болезнью, как считалось ранее. Это был первый из пяти случаев, когда Георг полностью лишился рассудка, но встревоженный премьер-министр Гренвилл заблаговременно внес в парламент законопроект, исключающий королеву-мать из кандидатов в регенты в случае недееспособности короля. Когда Георг III пришел в себя, это предложение ему не понравилось. Король хотел от кабинета министров «больше подчинения» и поэтому в июле 1765 года отправил все правительство Гренвилла в отставку. Сам Гренвилл впоследствии утверждал, что его последняя беседа с королем «была благопристойной, если не думать о том, что он не произнес ни слова одобрения». С этого момента Гренвилл возглавил оппозицию в Палате общин и начал готовить месть.
Сопротивление американских колонистов введению гербового акта нарастало, постепенно превращаясь из «какого-то ворчания нарушителей спокойствия из Массачусетса» в пожар, распространяющийся на другие колонии. Двадцатидевятилетний адвокат и рабовладелец Патрик Генри произнес пламенную речь перед Палатой представителей в Виргинии, назвав гербовый акт открытой диктатурой и намекнув, что пришло время избавиться от Георга III. Председатель палаты сделал Генри выговор, но выступление произвело огромное впечатление на Томаса Джефферсона, который слушал его, затаив дыхание.
Следующий конгресс колоний, также известный как Конгресс Гербового акта, в котором приняли участие двадцать семь представителей от девяти колоний, состоялся в мэрии Нью-Йорка 7 октября 1765 года. Цель этого конгресса заключалась в том, чтобы рассмотреть «общий и единый, покорный, верный и смиренный отчет о своем состоянии и ходатайство о поддержке Его Величеству и парламенту». В этом документе, также известном как Декларация прав и причиненных несправедливостей, колонии снова присягали на верность королю, выражали «должное повиновение» парламенту, но также требовали отмены введенных метрополией налогов. Члены конгресса были убеждены, что право устанавливать налоги имеют лишь местные органы власти. Несмотря на рост сопротивления, Георг III решительно продолжил прежнюю политику, и 1 ноября 1765 года в британских колониях вступил в силу новый закон о налогах. Король также назначил нового премьер-министра. Им стал тридцатипятилетний Чарльз Уотсон Уэнтуорт, маркиз Рокингем, самый богатый человек в Англии своего времени. В его резиденции в Южном Йоркшире было 300 комнат, а ее площадь составляла 90 тысяч квадратных метров. Несмотря на отсутствие у Рокингема такого же богатого политического опыта, как у его предшественника Гренвилла, новый премьер-министр быстро понял, что от гербового акта государственной казне будет больше вреда, чем пользы: как бы то ни было, первые поступления по гербовому акту были прискорбно низкими, составив ровно 45 фунтов, или 0,1 % ожидаемого дохода. Под постоянным давлением как британских торговцев, столкнувшихся с резким падением продаж, так и колонистов, единогласно отказавшихся принять гербовый акт, Рокингем 21 февраля 1766 года сдался, и закон был отменен спустя всего четыре месяца после вступления в силу.