Как было с Томеа-меа, так случилось и с Тамори. К началу 1817 года он прозрел. Прежде всего он до сих пор не получил никакого подтверждения того, что русский царь принял его в свое подданство и что Сандвичевы острова теперь являются территорией Российской империи. До сих пор все, что он получил от Шеффера, — это русский флаг и обещания. Мало того, он стал с подозрением относиться к деятельности Шеффера на своем острове — все эти военные крепости и форты стали вызывать подозрения. Услышал он также и о том, что Баранов, приславший Шеффера на острова, не одобряет действий последнего.
Тамори был не так глуп, и стал усиленно нажимать на Шеффера, а тому пришлось изворачиваться изо всех сил и давать новые обещания. Чтобы успокоить короля Тамори, он заявил ему, что покупает небольшую американскую шхуну и большой корабль, за что он заплатил пушным товаром с «Кадьяка» и «Ильменя» на общую сумму в 221 тысячу рублей. Эти корабли якобы передаются в собственность королю Тамори в обмен за сандаловое дерево, которое Шеффер намерен экспортировать для продажи в Кантоне. Произведя расход на сумму более чем двести тысяч рублей, Шеффер превысил свои полномочия и, когда написал об этом Баранову, — объяснял это тем, что теперь начнется вывоз сандалового дерева в неограниченном количестве; — в ответ получил возмущенное письмо от правителя, где тот отказывался признать сделку о покупке двух судов и вообще все заключенные им условия не одобрял и был уверен, что и правление компании в Петербурге откажется их признать. В заключение он сухо заметил, что Шеффер ничего из заданных ему поручений не выполнил, а вместо этого кинулся в какие-то фантастические авантюры.
Кроме того, Баранов через одного из шкиперов иностранных кораблей неофициально передал королю Тамори, что принятие его земель под власть русского царя преждевременно, но император будет считать короля вождем гавайских земель и будет всегда поддерживать с ним дружеские отношения.
Это известие открыло королю глаза. Он вызвал Шеффера к себе во «дворец», и там произошла сцена, подобно той, что имела место на острове Сагу год тому назад. В присутствии своих приближенных и советников Тамори обругал Шеффера, обозвал его мошенником и отдал приказ покинуть остров, если он еще ценит свою жизнь.
К чести Шеффера надо сказать, что он был не трусливого десятка и категорически заявил, что уезжать никуда не собирается, останется на острове под защитой своих фортов и батарей. С этими словами он удалился со своим обычным эскортом телохранителей. У Шеффера, однако, большой надежды на защиту его жиденьких батарей не было. В основном он рассчитывал на два компанейских судна «Ильмень» и «Кадьяк», в это время стоявших в гавани. Доктор немедленно сообщил капитанам обоих кораблей о создавшейся серьезной обстановке и приказал им оказать ему поддержку своими судовыми пушками в случае атаки гавайцев. Капитаном на «Ильмене» был все тот же Вудсворт, тогда как в этом рейсе «Кадьяком» командовал английский капитан Юнг.
Капитан Вудсворт остался верен себе. Под покровом ночи он снялся с якоря, и «Ильмен» незаметно удалился из гавани, бросив Шеффера и его подчиненных — русских и алеутов — на произвол судьбы.
Утром король Тамори, увидев, что «Ильмень» ушел, и хорошо зная мизерную артиллерию «Кадьяка», повел тысячи своих подданных на штурм фортов Шеффера. Защитники фортов оказались перед лицом значительно превышавших их сил гавайцев и поспешно отступили к берегу, где вскочили в шлюпки и направились к «Кадьяку» искать спасения под защитой его батарей. Шеффер при этом едва не утонул, потому что гавайцы заранее пробили дно его шлюпки. Все имущество русских было захвачено гавайцами.
Потеря фортов явилась финальной главой авантюры Шеффера. Под угрозой атаки гавайцев на корабль, капитан Юнг приказал выйти в море. «Кадьяк» в это время находился в таком ужасном состоянии — с протекающими бортами и гнилыми мачтами, что выход его в море граничил с безумием. Но ничего другого, учитывая сложившуюся ситуацию, не оставалось.
С трудом полузатонувший «Кадьяк», с трюмами наполненными водой, добрался до острова Оагу. Подданные короля Томеа-меа встретили русских враждебно, и Шефферу было небезопасно сходить на берег. К счастью, в гавани стоял американский корабль, и его капитан Луис знал Шеффера. Он предложил доктору перебраться к нему на борт и на следующий день ушел в Кантон, откуда Шеффер намеревался уехать в Петербург, чтобы дать объяснение властям по поводу своих действий на Сандвичевых островах. Перебравшись из Кантона в Макао, Шеффер писал оттуда 20 сентября 1817 года, что «через политические обстоятельства принуждены были русские оставить Атувай».