Прежде всего Литвинов отослал в Москву шифр, который он составил вместе с бывшим сотрудником царской военно-закупочной комиссии. Этим шифром НКИД и пользовался в переписке с Литвиновым. В марте 1918 года к нему приехал первый дипкурьер, который добирался до места назначения через Финляндию, Швецию и Норвегию. Ему доставили двести тысяч рублей царскими деньгами, которые еще принимали британские банки, не осознавшие исторического значения Октябрьской революции. Стол дипкурьеров — служба для обеспечения связи с представительствами за рубежом — был организован при наркомате 27 августа 1918 года. Сначала подготовил одиннадцать дипкурьеров. В 1921 году при создании управления делами НКИД появилась Часть дипкурьеров, их насчитывалось уже пятьдесят четыре человека. В 1931 году образовали самостоятельный Отдел дипкурьерской связи. Теперь это департамент дипломатическо-курьерской связи.
Максим Максимович снял помещение и нанял сотрудников. На двери повесил табличку «Русское народное посольство». Официально британские власти его не признавали. В Лондоне действовало прежнее российское посольство, которое возглавлял поверенный в делах Константин Набоков. Но до заключения Брестского мира к Литвинову в Англии относились довольно прилично. Его бесконечно интервьюировали, он вообще стал лондонской достопримечательностью.
Когда Москва подписала с немцами мир, представителей Советской России стали воспринимать как врагов. 1 сентября 1918 года чекисты арестовали в Москве британского дипломата Брюса Локкарта. Англичане, наученные Троцким, который годом раньше распорядился арестовать британского посла, чтобы выручить из тюрьмы Чичерина, ответили тем же. 6 сентября лондонская полиция провела обыск в квартире Литвинова, его самого арестовали. Через десять дней его пришлось освободить, чтобы он смог связаться с Москвой и передать советским руководителям предложение Лондона обменять Литвинова на Локкарта. Предложение было принято. Вместе с Литвиновым из Лондона уехало еще несколько десятков эмигрантов, которые спешили вернуться в Россию.
Все сколько-нибудь образованные и толковые большевики, особенно знающие иностранные языки, ценились на вес золота. Первым делом Литвинова командировали в Швецию. Там уже находился Вацлав Воровский. Поскольку он давно жил в Стокгольме, его назначили полпредом в Скандинавских странах. Литвинов и Воровский должны были установить контакты с державами Антанты и предложить им прекратить враждебные действия против Советской России. Но они ничего не успели сделать. Швеция решила разорвать отношения с Советской Россией, и 30 января 1919 года всем советским представителям пришлось уехать из Швеции в пломбированном вагоне.
Поскольку старые большевики помнили умение Литвинова вести финансы, его назначили членом коллегии Наркомата рабоче-крестьянской инспекции и одновременно заместителем председателя Главконцесскома — отношения с иностранными бизнесменами предлагалось строить на основе концессий, то есть предоставления в аренду предприятий и месторождений природных ископаемых.
Но дипломатические поручения постепенно стали вытеснять все остальные задания. В ноябре 1919 года Литвинов отправился в Копенгаген вести переговоры с англичанами об обмене пленными. 24 ноября покинувшая Россию вдовствующая императрица Мария Федоровна записала в дневнике: «Сегодня ожидается прибытие с английским судном этого большевистского чудовища Литвинова. Правда, ему не разрешают сойти на берег».
Датское правительство тоже боялось распространения «красной заразы», но Максим Максимович оставался в Копенгагене почти год. Его контакты переросли в переговоры о возможности установления торговых отношений. Он вел переговоры и с англичанами.
В мае 1919 года Англия радиограммой предложила России провести переговоры об обмене военнопленными. 25 ноября в Копенгагене встретились Литвинов и член британского парламента Джеймс О’Грейди. Литвинов был в ту пору единственным представителем советского правительства за границей. Британскую въездную визу ему не выдали, потому что в 1918 году он был выслан из Англии. 12 февраля 1920 года Литвинов и О’Грейди подписали соглашение о военнопленных.
Затем Литвинова назначили полпредом и торгпредом в Эстонию. И наконец вернули в Москву заместителем наркома иностранных дел вместо Льва Карахана, которого отправили полпредом в Варшаву.
Имя Литвинова стало широко известным летом 1922 года, когда он возглавил советскую делегацию на Международной конференции в Гааге. Там собрались представители двадцати семи государств, чтобы обсудить вопрос о долгах России и возможном предоставлении ей кредитов. На кредиты Советская Россия очень рассчитывала, но признавать долги, сделанные царским и Временным правительством, отказывалась наотрез. Конференция закончилась провалом. Но в те времена в Москве именно такой стиль дипломатической работы пользовался почетом. «Правда» опубликовала басню Демьяна Бедного «Антантовская лиса и советский журавль»:
Максим Литвинов был одним из двух заместителей наркома иностранных дел и непосредственно руководил 2-м западным отделом (отношения с Румынией и Чехословакией). Но энергия, организаторские способности, широкие связи в партийном руководстве быстро поставили его на первое место в дипломатическом ведомстве. Он вел себя очень самостоятельно, постоянно спорил с наркомом. Он замещал Чичерина, если тот покидал Москву, и фактически возглавил наркомат, когда Георгий Васильевич заболел и уехал лечиться за границу.
В наркомате Литвинов слыл образцом организованности и пунктуальности. Он обладал завидным трудолюбием и твердым характером. Его сотрудники вспоминали потом, что в наркомат Литвинов приезжал в начале одиннадцатого утра и уезжал в начале пятого вечера. Он брал с собой бумаги и читал их в особняке Наркоминдела на Спиридоновке, где жил. Все успевал, все дела делал вовремя, сам не опаздывал и другим не позволял. Он принимал сотрудников точно в назначенное время. Литвинов всегда держался с достоинством, терпеть не мог лести и подхалимства.
В год, когда Литвинов стал руководителем советской дипломатии, наркомат лишили денег, которыми мог распоряжаться его предшественник. В 1930 году политбюро решило:
«а) Особые секретные фонды, находящиеся в распоряжении НКИД, ликвидировать. Одновременно обязать все республики и учреждения ликвидировать все секретные фонды, находящиеся в их распоряжении. Предложить впредь НКИД и республикам в случае особой нужды для покрытия секретных расходов испрашивать в каждом конкретном случае специальные ассигнования, причем расходы республик должны проводиться исключительно через НКИД.
б) Утвердить в основном предложение РКИ о снятии работников из полпредства, торгпредства и подконтрольных ему организаций во Франции, поручив НК РКИ и НКТоргу согласовать вопрос об отдельных кандидатурах».
22 июля 1930 года в газетах появилось постановление президиума Центрального исполнительного комитета СССР об утверждении Литвинова наркомом. О своем назначении наркомом Максим Максимович объявил на одном из приемов для иностранцев, которые тогда устраивал отдел печати НКИД. Это сообщение, по словам очевидца, было воспринято иностранными дипломатами с чувством большого облегчения — они почему-то боялись, что в преемники Чичерину выберут Сергея Мироновича Кирова, первого секретаря из Ленинграда. Иностранцы, работавшие в Москве, считали Кирова одним из наиболее твердых «сталинских ребят».
Споры о том, кто возглавит Наркомат иностранных дел после Чичерина, шли долго. Сталин сделал выбор в пользу Литвинова по тем же причинам, по которым Ленин и Троцкий в свое время остановились на Чичерине: текущими иностранными делами должен заниматься не политик, а профессионал. Однако, несмотря на большой партийный стаж и старые заслуги, особого партийного веса у Литвинова не было. Троцкий писал: «В аппарате партии Литвинов уже задолго до Октябрьской революции не играл никакой роли». На XVI съезде партии (июль 1930 года) его не избрали в ЦК.