Чем дольше жили в Инасе русские моряки, тем легче они находили общий язык с местными жителями. Современники отмечали, что было очень смешно наблюдать, как русский матрос говорит на смешанном русско-японском языке, прибегая порой и к помощи английского. При этом разговор сопровождался выразительной мимикой и пантомимой. Японцы тоже старались овладеть русским языком, причем замечено, что они понимали русскую речь легче, чем моряки японскую. Желание учиться русскому языку поддерживали и власти, которые стали направлять молодежь на учебу в храм. С ними по утрам занимались офицеры, не участвовавшие в судовых работах.
Но вот наступил час разлуки, показавший, насколько подружились японцы и русские. За несколько дней до возвращения команды на борт фрегата начались прощальные визиты. Русским морякам отовсюду несли подарки. «Женщины и мужчины без разбора обнимались с нашими матросами, целовались и плакали; во время переборки (возвращения на борт), несмотря на то, что матросов вели фронтом (строем), они находили средство отлучиться, и больших трудов стоило отыскать их по домам, где японцы буквально прятали их от офицеров».
Важный чиновник Накаяма, ответственный за пребывание русских в Нагасаки, в те дни слег с какой-то болезнью. Узнав, что фрегат снимается с якоря, он приказал на носилках отнести его на берег и на лодке приехал на «Аскольд», чтобы лично попрощаться с моряками. Весь рейд был заполнен лодками, которые кружили вокруг фрегата. Когда дали ход, провожающие «в один голос и по-русски начали кричать:
— Прощайте, прощайте, не видать нам больше вас, не забывайте нас!»
Подрядчики вообще проводили фрегат до выхода в океан.
Та историческая стоянка «Аскольда» в Нагасаки открыла много удивительного как японцам в русских, так и нашим морякам в жителях Страны восходящего солнца. Вот такой итог подвел К. Ф. Литке: «Мы сохранили самые глубокие и приятные воспоминания о нашей там зимовке, они никогда не сгладятся из нашей памяти, и уверены, что и японцы не скоро нас забудут; фрегат «Аскольд» еще долго будет жить в преданиях японского народа, и русские, посещающие Нагасаки, слушая рассказы о жизни нашей в Госиндзи, будут с удовольствием вспоминать, на какой степени самостоятельности и уважения тогда стояли русские в Японии». Сближению способствовало и то, что русские быстрее других иностранцев адаптировались к японской действительности. Европейцы объясняли это тем, что Россия издавна, со времен татаро-монгольского нашествия, имела тесные отношения с Азией и смогла постичь ценности восточной культуры.
Русские моряки оставили в Нагасаки не только добрую память о себе, но и своих товарищей: на христианском Голландском кладбище рядом с храмом Госиндзи появились русские могилы. Несмотря на усилия голландского врача, у некоторых моряков, оставленных на его попечение адмиралом Путятиным, болезнь оказалась запущенной, и выходить их не удалось. На верхнем участке кладбища похоронили Игната Кошкина (умер 17 июня), Крестьяна Гарнена (8 июля), Семена Годовикова (19 июля), Луку Силина (27 июля), Ефима Иванова (18 августа). В конце 1858 г. к этим могилам добавились новые, также принадлежавшие «аскольдовцам»: Густава Жица (7 октября), Сидора Почина и Андрея Бородина (9 октября), Виктора Федорова и Петра Роддера (15 октября), Федора Иванова (20 октября), Павла Жохова (8 декабря), Алексея Рудакова (14 декабря), Михаила Панкратова (27 декабря) и др. Всем было около 30 лет. В конце мая 1859 г. умер Тимофей Напалков. За восьмимесячную стоянку в Нагасаки в мир иной ушло так много членов экипажа «Аскольда», что моряки прозвали Инасу «Аскольдовой могилой», а Голландское кладбище превратилось в Русское.
Прежде чем взять курс на Кронштадт, фрегат «Аскольд», зашел в Хакодате, чтобы по просьбе консула И. А. Гошкевича отвезти в Россию подарки, переданные японцами.
Обстановка в Нагасаки менялась стремительно. В начале 1860-х гг. он представлял собой маленький городок с местным населением в 40 тыс. человек и 250–300 иностранцами. Предприниматели уже успели оценить достоинства порта, защищенного от юго-западных ветров и тайфунов горами, которые со всех сторон окружали вытянутую бухту, похожую скорее на очень широкую реку. После длительного плавания гавань представлялась «прекрасным видением». Правда, Русская деревня, по мнению иностранцев, портила весь вид.