Организацией переговоров в Токио занимался Гошкевич. 8 августа 1859 г. уполномоченные императора Эндо Тадзима-ноками и Сакаи Укёноскэ посетили графа на борту фрегата, а на 10 августа был назначен съезд на берег. Он был обставлен очень торжественно. При переходе Муравьева-Амурского с фрегата «Аскольд» на «Америку», которая могла поближе подойти к берегу, раздался салют, и все матросы были посланы на реи. Чуть позже по бухте засновали шлюпки, заполненные офицерами в парадной одежде. У самой пристани графа встречали японские чиновники, а также сборный батальон, составленный из экипажей всей эскадры. Вид трехсот лихих матросов, гардемаринов и юнкеров, блестящие мундиры и знамена должны были произвести впечатление на японский народ. К сожалению, людей на берегу не было, так как полицейские запретили горожанам появляться там во время церемонии. Так что красочным представлением наслаждались сами участники. В храме гостей ждал торжественный обед, составленный из блюд японской кухни.
Русские моряки с удовольствием воспользовались возможностью осмотреть незнакомый город, в который не ступала нога иностранца. На их взгляд, народ на улицах почти ничем не отличался от жителей Хакодате или Нагасаки. Простой люд ходил почти раздетым, не блистали богатством и одежды лавочников. Кто выделялся среди толпы, так это чиновники, которые выглядели поважнее, чем в других городах, которые посещали русские. Да и свиты у знатных людей были значительно многочисленнее. Лавки были побогаче канагавских, но не везде соглашались продать товар иностранцам.
Русских моряков очаровали красота и утонченность японских женщин, хотя они и недоумевали по поводу некоторых японских обычаев. «Что касается женщин, то мы, разумеется, других случаев, как видеть их на улице, в лавках или гостиницах, не имели; а в этих местах, с прибавкой и храмов, показываются только женщины низшего класса, да и то сравнительно с мужчинами не в большом количестве. Между ними часто попадаются довольно хорошенькие, но, увы, то же злодейское обыкновение, что и в Хакодате, покрывать белилами и другими разноцветными мастиками лицо и шею невольно напомнит поблекшую, но все-таки играющую первые роли актрису провинциального театра».
В свою очередь японские жители тоже во все глаза глядели на чужеземцев. В Японии тогда существовало немало противников открытия страны, особенно среди чиновничества, поэтому прогулки нередко были сопряжены если не с опасностью для жизни, то во всяком случае с некоторыми неудобствами. Смех и крики зевак постоянно сопровождали русских во время их экскурсий по городу. Порой гостей встречали и камнями: кто-то маленькими, а кто-то и более увесистыми. Увы, узкие японские улицы не позволяли избежать неприятных встреч. Иногда в конце прогулки русские напоминали зайцев, которых гнали собаками.
Русским особенно понравились японские парки. «А сады, в особенности террасы, очень хороши. На одной из них мы пили чай; она обсажена деревьями, покрыта легкой крышей, или по-нашему маркизой, и разделена на несколько отделений, отгороженных друг от друга тоненькими жердочками; в каждом из этих отделений особенная семья торговцев чая. По любви к простору, так свойственному русской натуре, мы разлеглись во всех отделениях и совершенно запутали чиновников, все еще пытавшихся предлагать нам угощение за счет правительства. Вид с террасы на громадный город, раскинутый у наших ног, очень хорош: по крайней мере, успокаивает глаз однообразием: вы видите крыши и деревья, деревья и крыши, и только там, вдали, синее море и на нем как бы в тумане залитые ярким светом солнца джонки и наша грозная эскадра».
Тем временем Муравьев-Амурский вел напряженные переговоры о разграничении России и Японии. Он сообщил японцам, что российские власти хотят восстановить пост в заливе Анива, снятый в 1854 г. Николай Николаевич предложил провести границу по проливу Лаперуза, а японские рыбалки оставить в их владении. Японцы же предлагали провести границу по 50-й широте. 23 августа состоялся последний разговор, который закончился ничем. Одной из причин того, что японское правительство настороженно отнеслось к инициативе Муравьева, была близость дальневосточных рубежей России.
Во время российско-японских переговоров, вечером 14 августа 1859 г., произошло трагическое событие, которое показывает, насколько непросто складывались отношения между двумя странами. Несколько членов экипажа корвета «Гридень» были посланы на баркасе в Канагаву для закупки продуктов. Успешно окончив все дела, они хотели в тот же вечер вернуться на судно, но случилось непредвиденное.