Знание иностранных языков открыло Андрею Ивановичу возможность продолжить службу в России во внешнеполитическом ведомстве: в 1708 г. он был определен переводчиком Посольского приказа. «Толмач» пришелся ко двору и с 1710 г. стал быстро подниматься по служебной лестнице; в этом же году он получил первое серьезное поручение, позволившее ему проявить свои способности при его исполнении: он был отправлен к польскому королю с извещением о взятии Риги русскими войсками, а также к прусскому и датскому дворам с целью убедить их принять более активное участие в войне против Швеции.
В 1711 г. Остерман участвовал вместе с П. П. Шафировым в заключении Прутского мирного договора с Турцией и получил звание тайного секретаря. В последующие годы ему доверяют поручения, требовавшие умения самостоятельно принимать решения: в 1713 г. он был отправлен в Берлин не в качестве курьера, а переговорщика, который должен был ориентироваться во время переговоров в ежеминутно менявшейся ситуации и самостоятельно находить достойный выход из нее. В 1715 г. Остерман в звании Канцелярии советника отправился в Голландию, якобы «для осмотрения нового в ботанике изобретения», а на самом деле для исполнения поручений князя Б. И. Куракина, в руках которого находилось руководство внешнеполитическими делами с европейскими странами.
Надо полагать, что Андрей Иванович успешно справлялся со всеми поручениями, так что в 1717 г. он назначается вторым уполномоченным на Аландский конгресс для мирных переговоров со Швецией. Первым уполномоченным значился генерал-фельдцейхмейстер Я. В. Брюс, но главным переговорщиком фактически был А. И. Остерман.
Многие годы А. И. Остерман находился в приятельских отношениях с вице-канцлером П. П. Шафировым и в эти годы пользовался его покровительством. Андрей Иванович с Аландского конгресса отправлял Шафирову множество частных писем, в которых откровенно делился своими впечатлениями от общения со шведскими уполномоченными, сообщал разнообразные наблюдения, о которых было непристойно писать в официальных донесениях.
Ко времени открытия Ништадтского конгресса в 1721 г. отношения Остермана с Шафировым уже были испорчены. Тому свидетельство — прекращение отправки Остерманом частных писем Шафирову с Ништадтского конгресса. Отношения между ними стали открыто враждебными в следующем, 1722 г., когда во время конфликта между А. Д. Меншиковым и П. П. Шафировым А. И. Остерман открыто поддержал Меншикова и в его лице приобрел нового покровителя.
У подножия трона после кончины Петра Великого и в годы царствования Екатерины I и Петра II самым могущественным вельможей был А. Д. Меншиков, в руках которого при неграмотной императрице, а затем и при малолетнем императоре сосредоточивалась огромная власть. Покровительство Меншикова Остерману выразилось в том, что он ввел его в состав высшего правительственного учреждения, каким стал учрежденный в 1726 г. Верховный тайный совет.
Меншиков полагал, что в лице Остермана он обрел верного слугу, но не учел способности Андрея Ивановича изменять своим покровителям, проявляющейся, когда он чувствовал, что позиции патрона слабеют. Остерман легко приносил свою совесть в жертву карьерным выгодам. Остерман, как мы видели, совершил предательский поступок по отношению к своему покровителю Шафирову. Такой же предательский поступок он совершил позднее и в отношении своего нового благодетеля Меншикова, не без его активного участия оказавшегося в Березове.
Умение лавировать и строгое следование одному из главных правил, которые А. И. Остерман выработал для себя, — всегда держаться в тени, обеспечили ему возможность на протяжении более чем 15 лет после смерти его первого покровителя Петра Великого удерживаться у правления.
Уже сам факт, что Андрею Ивановичу удалось избежать опалы в царствование Петра Великого, Екатерины I (1725–1727), Петра II (1727–1730), Анны Иоанновны (1730–1740), Ивана VI Антоновича (1740–1741) при регентстве Бирона, а потом Анны Леопольдовны, убедительно подтверждает этот тезис.
Следует также подчеркнуть, что устойчивость Остермана объясняется тем, что как во внутренней, так и во внешней политике он избегал новшеств, всегда таивших риск оказаться в опале, и придерживался курса, определенного Петром Великим. Во внутренней политике это был курс на поощрение развития промышленности и торговли и расширения дворянских привилегий, а во внешней политике — поддержание отношений с северными и западными соседями и укрепление союза с Австрией, являвшейся, как и Россия, объектом агрессии Османской империи.