Разговаривали пальцами и гримасами. Тогда Шпанберг догадался показать японцам карту. И это не было диковиной для чиновников. Они показали Мартыну Петровичу Японию и Россию, и пальцами указали, чтобы он убирался к себе. Иностранцам запрещено посещать Японию. Только голландцам и только в порту Нагасаки разрешалось торговать. На предложение опять на пальцах Шпанберга отправиться и ему в Нагасаки чиновники энергично замотали головами и снова проложили пальцем на карте маршрут русским прочь от Японии. К этому времени три русских кораблика окружало уже почти сотня японских судов различных размеров, большинство было маленькими, но и уродливых японских галер хватало. Всего же на этих судёнышках было никак не меньше тысячи человек, и Мартын Петрович велел поднять якоря и направился назад в Большерецк. По сути, задание Адмиралтейства он выполнил. Развеян миф о земле де Гамы и найдена Япония.
Двигаясь на север вдоль берегов Японии, третьего июля он обнаружил множество больших и малых островов в районе сорок четвёртого градуса северной широты. И сразу же начались туманы, в которых понятно тут же исчез шлюп «Большерецк», на который возлагали основные надежды для обследования островов. Опять не на чем было подходить вплотную к островам. Первый крупный остров Мартын Петрович назвал своим именем — остров Шпанберга. (К сожалению, название не прижилось, сейчас это остров Шикотан). Пока длились поиски Большерецка Шпанберг обследовал все острова Малой Курильской гряды — Итуруп, Кунашир и прочие. Зато на острове Шпанберга нашли хорошую бухту и смогли запастись пресной водой. Там же в бухте нашли следы пребывания человека — костры и кости рыб и животных, но сами люди не показывались. Повезло на острове Зелёный (Кунашир) там они встретили заросших волосами людей с длинными чёрными бородами — айнов, которых сопровождали огромные чёрные собаки.
Шпанберг попытался расспросить айнов есть ли у них царь, но языковой барьер и здесь присутствовал. Единственное, что удалось узнать, так это то, что японцам они не подчиняются и, что на соседнем большом острове (Хоккайдо) так же живут без всякого царя айны и только не юго-западе острова есть несколько поселение японцев, с которыми они торгуют. Есть торговля и между почти всеми островами Курильской гряды. Шпанберг хотел привести их под руку Государыни Анны Иоанновны, но потом справедливо решил, что приводить в подданство нужно не жителей одного острова, а всю народность, включая и тех, кто живёт на Хоккайдо и сделать он это решил во время третьей более подготовленной экспедиции и имея священника в составе экспедиции.
Когда огибали Итуруп в густом тумане потерялась и Надежда, после тщетных попыток найти дубель-шлюпку Мартын Петрович решил возвращаться в Большерецк. Похоронив в пучине моря тринадцать человек из экипажа бригантины, в том числе и единственного лекаря в их экспедиции Шпанберг в начале августа прибыл на Камчатку. Здесь в Большерецке уже находился отставший «Святой Гавриил» и вскоре сюда же прибыла и «Надежда». Поругавшись с Вальтоном Шпанберг, узнал, что тот тоже побывал в Японии, только гораздо южнее в районе тридцать седьмого градуса северной широты. Дальше Вальтон спустился на юг ещё на пару градусов и бросил якорь у берегов Японии под тридцать пятым градусом северной широты. Вскоре к «Гавриилу» подошло небольшое японское судно, которое пригласило русских сойти на берег. Вальтон решил принять приглашение и отправил на берег вельт-бот с шестью матросами во главе со штурманом Казимировым. Моряки набрали на берегу свежей воды и купили за серебряные монеты немного овощей и риса. Когда вельт-бот вернулся с моряками на корабль, Вальтон решил идти дальше на юг. Однако вскоре к нему причалило судно, на котором находился офицер при шпаге и пистолете. Он приказал русским убираться. И Вальтон решил не вступать в конфликт с властями, он повернул на север и за два дня до появления там Шпанберга прибыл в Большерецк.
Мартын Петрович сразу же со всей флотилией отправился в Охотск и по дороге написал длиннющий отчёт о своём плавание и по прибытии в Охотск сразу отправил его в Адмиралтейство. И стал готовиться к возвращению в Москву за заслуженной наградой.