В 1727–1730 гг. Андрей Иванович быстро приобрел значение едва ли не самой важной фигуры в Верховном тайном совете. Этот статус ему был обеспечен его исключительной работоспособностью, которой были лишены вельможи, входившие в его состав. На этот счет историки располагают основательным свидетельством английского резидента К. Рондо, изложенным в депеше от 9 сентября 1728 г.: «Всеми делами занимается исключительно Остерман; и он сумел сделать себя настолько необходимым, что без него русский двор не может ступить ни шагу. Когда ему не угодно явиться на заседание совета, он сказывается больным, а раз барона Остермана нет — оба Долгоруких, адмирал Апраксин, граф Головкин и князь Голицын в затруднении: они посидят немного, выпьют по стаканчику и принуждены разойтись; затем ухаживают за бароном, чтобы разогнать дурное расположение его духа, и он, таким образом, заставляет их соглашаться с собою во всем, что пожелает».
Свидетельство Рондо подтвердил французский поверенный Маньан в депеше, отправленной в конце октября 1728 г.: «Остерман не упускает решительно ничего, что могло бы содействовать усилению удивительного расположения, питаемого к нему молодым царем; постоянное его пребывание около царя доходит до того, что он ни одного раза не избавил себя от обязанности сопровождать царя при всех его прогулках верхом. Этот монарх пожелал недавно сделать его графом и подарить ему значительные имения, конфискованные у Толстого, но Остерман отказался весьма скромно от принятия таких милостей на том основании, что не считает еще себя их заслуживающим», и обещал принять подарок и пожалование, когда император достигнет совершеннолетия.
Попытка князя Д. М. Голицына удалить от императора Остермана, занимающего первое место по доверию, питаемому к нему царем, не удалась.
В другой депеше, отправленной 30 мая 1729 г., Рондо извещал своего министра о деловых способностях Остермана: «Барон Остерман, вполне руководящий иностранными сношениями (хотя он состоит президентом Коммерц-коллегии), один из всех министров что-нибудь понимает в этих делах». Далее Рондо сообщает сведения об отношениях, сложившихся между Остерманом и Долгоруковым: «Он большой любимец Долгоруких, и при частом несогласии фаворита Долгорукова с отцом барон всегда избирается посредником между ними.
Более обстоятельное мнение на этот счет высказал Маньан: «Кредит Остермана поддерживается лишь его необходимостью для русских, почти незаменимый в том, что касается до мелочей в деле, так как ни один из русских не чувствует себя достаточно трудолюбивым, чтобы взять на себя это бремя». В другой депеше Маньан подробно излагает обстоятельства незаменимости Остермана: «…против Остермана составляются интриги, которые заставляют как будто предвидеть близкое его падение, но случится какой-нибудь трудное и неприятное дело у русских, он видимым образом опять попадет в милость на том основании, что это единственный человек из всех, составляющих царский совет, который действительно трудолюбив и на которого остальные слагают все бремя выполнения мелких подробностей».
В Верховном тайном совете при Петре II А. И. Остерману довелось выполнять не разовые поручения, как это происходило при назначении его для переговоров на Аландском и Ништадтском конгрессах, а участвовать в работе постоянно действующего учреждения. Однако при всей значимости Остермана в Верховном тайном совете времен Петра II он, хотя и приобрел значение «души совета», но был далек от роли, которую он будет выполнять впоследствии в Кабинете министров. А. И. Остерману было затруднительно единолично подчинить своему влиянию Верховный тайный совет. Во-первых, из-за его более многочисленного состава; во-вторых, из-за социальной принадлежности его членов: семь из девяти членов в царствование Петра II представляли две аристократические фамилии, свысока смотревшие на иноземца — сына пастора, хотя и дослужившегося до звания барона.