Под давлением общественности, а также ввиду серьезной заинтересованности в нормализации экономических отношений между двумя странами японское правительство пошло на переговоры о нормализации советско-японских отношений.
В состоявшейся 19 марта 1924 года беседе с Л. М. Караханом японский посланник Иосидзава сообщил, что «японское правительство приняло важное историческое решение, которое должно сыграть громадную роль в отношениях обеих стран». В течение последующих трех дней, писал советский полпред в НКИД, «он мне сообщил «японский план» восстановления отношений между Японией и Россией», оговорив его рядом предварительных условий.
Как сообщал Л. М. Карахан в НКИД, он заявил японскому посланнику: «Никаких предварительных условий принять не могу. В частности, я вообще не имею инструкций обсуждать с ними этот вопрос, но если ставят условия, я даже не передам этого в Москву и не запрошу инструкций». В результате твердой позиции, занятой советским представителем, японская сторона отказалась от предварительных условий.
14 мая 1924 года в Пекине начались официальные переговоры между советским представителем Л. М. Караханом и японским посланником К. Иосидзава, главной задачей которых было восстановление дипломатических отношений между СССР и Японией.
Вначале переговоры проходили успешно, и после восьми заседаний были выработаны основные принципы будущего соглашения. «Последние два дня у меня большое оживление с японцами, — писал Лев Михайлович 20 мая своей жене. — Заседания два раза в день, и сейчас иду в японскую миссию. Сидим по 4 часа подряд иногда два раза в день. Утомительно, но я гоню вовсю. Японцы с непривычки к концу заседания начинают заметно пухнуть. Но это только весело и полезно для дела». Главные разногласия возникли по вопросу сроков эвакуации японских войск с советского Сахалина и условий концессионного договора на разработку японцами нефтяных источников на Северном Сахалине. Переговоры осложнялись также внутриполитической борьбой в самой Японии, в результате которой японское правительство не могло дать четких инструкций своему представителю на переговорах. Однако здравый смысл и реальная оценка сложившегося положения взяли верх.
20 января 1925 года была заключена Конвенция об основных принципах взаимоотношений между Союзом Советских Социалистических Республик и Японией. Согласно этой конвенции, подписанной Л. М. Караханом и Иосидзава, между двумя странами устанавливались «дипломатические и консульские отношения». Стороны подтвердили свое желание «жить в мире и дружбе друг с другом». Правительство СССР выражало готовность предоставить японским подданным и компаниям концессии на эксплуатацию минеральных, лесных и других богатств на советской территории. Японское правительство обязалось вывести свои оккупационные войска с советского Сахалина к 15 мая 1925 года.
Заключение советско-японской конвенции завершило этап длительной борьбы Советского Союза за нормализацию отношений СССР со своими соседями на Дальнем Востоке. Оно свидетельствовало о дальнейшем укреплении международных позиций Советского Союза как великой тихоокеанской державы. Это была новая победа советской дипломатии.
«Исторические заслуги Л. М. Карахана перед СССР пополняются блестящими страницами его дипломатических работ и переговоров с Японией», — писала 28 августа 1925 года выходящая на русском языке в Харбине газета «Новости жизни». Изложив далее значение установления мирных отношений Советского Союза с Китаем и Японией, газета подчеркивала: «За этот мир с нашими великими соседями история отметит на своих страницах блестящую роль дипломатического ума и такта Л. М. Карахана».
Осенью 1924 года в политической обстановке в Северном Китае, которая и ранее была крайне неустойчивой, произошли определенные изменения. Милитарист Чжан Цзолинь, являвшийся японским ставленником, объявил войну пекинскому правительству, опиравшемуся на двух других милитаристов — Цао Куня и У Пэйфу, получавших поддержку Англии и США. Во время военных действий один из генералов правительственной группировки, Фэн Юйсян, выступил против У Пэйфу, а затем 23 октября занял Пекин и произвел государственный переворот.
Фэн высказался за поддержку Сунь Ятсена, за сотрудничество с Компартией Китая и сближение с СССР. Он считал необходимым пригласить Сунь Ятсена в Пекин и обсудить с ним вопрос об объединении страны. Ставший «временным правителем государства», Дуань Цижуй направил по настоянию Фэна приглашение Сунь Ятсену. Однако общего согласия не было ни среди китайских правящих кругов, ни среди командующих даже в армии Фэн Юйсяна.
Л. М. Карахан установил тесный контакт с Фэн Юйсяном, рассказывал ему об СССР, разъяснял задачи борьбы против империализма. Фэн Юйсян был патриотически настроенным человеком, проявлял интерес к учению В. И. Ленина, поддерживал политику Сунь Ятсена. Во время бесед с Л. М. Караханом Фэн неоднократно ставил вопрос об оказании помощи его армии специалистами и вооружением. Полпред обещал оказать содействие в этом вопросе.
По просьбе Л. М. Карахана Советское правительство направило в Северный Китай военных специалистов, которые оказали Фэну помощь в реорганизации армии, получившей название Национальной. Армии Фэна было отправлено около 43 тысяч винтовок, 230 пулеметов, 60 орудий, боеприпасы и т. д. В результате советской помощи у Фэн Юйсяна появилась даже кавалерия, то есть род войск, которого прежде никогда не было в Китае.
В связи с широкими масштабами советской помощи уже в 1925 году стал остро вопрос о подготовке квалифицированных переводчиков. В середине 1925 года по совету Л. М. Карахана и других советских работников в Москве при Коммунистическом университете трудящихся Востока было создано специальное переводческое отделение в составе 100 человек. Одновременно Лев Михайлович пишет статью «Задачи востоковедения», в которой призывает советских ученых обратить внимание «на изучение живого Китая, его истории, географии и китайского языка».
В январе 1925 года в Пекин прибыл Сунь Ятсен. Он был неизлечимо болен и знал об этом. Наконец-то состоялась его долгожданная встреча с Л. М. Караханом. Но политическая обстановка в Северном Китае изменилась к худшему. Надежды Сунь Ятсена на быстрый созыв Национального собрания для решения вопроса об объединении страны рухнули. К этому времени «временный правитель» страны Дуань Цижуй столковался с маньчжурским диктатором Чжан Цзолинем о том, чтобы отложить переговоры о созыве Национального собрания. Все это очень огорчало Сунь Ятсена. 26 января ему была сделана безуспешная операция, которая подтвердила диагноз: рак печени. Потянулись скорбные дни февраля — марта.
Лев Михайлович регулярно навещал больного, который все слабел, хотя сознание его оставалось ясным. Из Кантона приехал главный политический советник Сунь Ятсена М. М. Бородин. 11 марта 1925 года Сунь Ятсен обращается с прощальным посланием к членам ЦИК Союза ССР, в котором выражает надежду, что «в великой битве за свободу угнетенных наций мира обе страны рука об руку пойдут вперед и добьются победы».
Утром 12 марта 1925 года Сунь Ятсена не стало. Весь Китай был в трауре. Над зданиями советского полпредства и советских консульств были приспущены государственные флаги СССР. На следующий день к дому, где умер Сунь Ятсен, началось паломничество. Перед выставленным огромным портретом покойного виднелся венок с красными лентами, возложенный Л. М. Караханом. Похороны состоялись 18 марта. Для прощания с Отцом китайской революции пришло более миллиона человек. Среди провожающих Сунь Ятсена в последний путь — Л. М. Карахан с супругой, М. М. Бородин, военный атташе полпредства в Пекине А. И. Геккер, другие сотрудники. Советский полпред был единственным из иностранных дипломатов, прибывшим на похороны Сунь Ятсена.