Громыко принимал участие в Ялтинской и Потсдамской конференциях. Он был руководителем советской делегации на встрече в Думбартон-Оксе, а в дальнейшем, после отъезда Молотова, возглавил также делегацию СССР на конференции, принимавшей Устав ООН. Как один из "отцов-основателей” ООН Громыко в 1946 году был назначен первым представителем Москвы в Совете Безопасности, где заслужил прозвище "Мистер Нет”, более двадцати раз за два года наложив от имени СССР вето на решения, принимавшиеся Советом. Начиная с этого времени, Громыко непосредственно участвовал во всех событиях, связанных с отношениями между Востоком и Западом, в частности между СССР и США, и имел дело со всеми американскими президентами, начиная с Франклина Рузвельта и кончая Рональдом Рейганом, равно как и с их государственными секретарями — от Корделла Хэлла до Джорджа Шульца. Громыко — единственный из нынешних членов Политбюро, занимавший ответственный пост еще при Сталине и оставшийся "в верхах” при всех последующих вождях вплоть до Черненко.
Громыко неожиданно повезло и в тот момент, когда его карьера, казалось, готова была рухнуть. Он вернулся в Москву в 1948 году и был назначен первым заместителем Молотова, но в 1952-м министром иностранных дел стал Андрей Вышинский, ухитрившийся от него отделаться. Вышинский, кровавый прокурор времен сталинских чисток, оказался столь же непримиримым проводником сталинского внешнеполитического курса. Он счел нужным попридержать служебное рвение Громыко, неуместное в эпоху начавшейся холодной войны. Между двумя деятелями вспыхнула ссора. Вышинский — опытный инквизитор — нашел, как подорвать безупречную репутацию Громыко и воспользовался этой находкой, чтобы избавиться от главного из своих помощников.
Собственно, Громыко сам, что называется, вырыл себе яму. Относительно скромный в личной жизни, он тем не менее на этот раз совершил нехарактерный для себя поступок, который можно было расценить как злоупотребление служебным положением. По настоянию жены, Лидии Дмитриевны, он привлек министерских рабочих к строительству личной дачи и заодно воспользовался фондами стройматериалов, выделенными министерству. В московском пригороде Внуково для него построили уютное кирпичное зданьице. Среди советской элиты такие нарушения закона встречались и встречаются постоянно, и на них обычно смотрят сквозь пальцы. Как только у человека появляется возможность использовать служебное положение в личных целях, он сразу же стремится извлечь из этого выгоду — и действительно извлекает. Между прочим, я тоже прибегал к услугам персонала министерства, когда в конце 60-х годов мне понадобилось переоборудовать свою московскую квартиру.
За подобные вещи наказывают лишь в исключительных случаях. Высокое положение в государстве надежно защищает от какого бы то ни было скандала.
Но Вышинский, узнав о строительстве дачи, добился, чтобы Громыко вынесли формальный выговор по партийной линии и отправили его послом в Лондон. Вместо Громыко первым заместителем Вышинского стал Яков Малик, выдвинувшийся в 30-е годы как стукач, усердно сотрудничавший с органами госбезопасности, а на рубеже 40-50-х годов сменивший того же Громыко на посту руководителя советской делегации в ООН. Там он усиленно демонстрировал свои яро антиамериканские настроения. Малик был явно доволен тем, что Громыко выжили из министерства, а тот, надо полагать, смотрел на свое назначение в Лондон как на ссылку.
Смерть Сталина в марте 1953 года привела к внезапному повороту в судьбе Громыко. Вышинский был снят, полетели со своих постов и многие из его приятелей. Теперь уже Малик был вынужден отправиться послом в Англию, а Громыко вернулся оттуда, чтобы занять в Москве все ту же должность первого заместителя министра иностранных дел.
С этого времени карьера Громыко развивалась уже беспрепятственно, его авторитет рос. Хотя министром иностранных дел его назначил не кто иной, как Хрущев (в 1957 г.), Громыко пережил падение своего патрона; было известно, что Хрущев за спиной Громыко укреплял позиции своего зятя Алексея Аджубея, выделив в его ведение часть внешнеполитических вопросов.
Во времена Хрущева Громыко принял важное для своей дальнейшей карьеры решение, выказав себя очень прозорливым человеком. Он всячески опекал Леонида Брежнева, занявшего при Хрущеве чисто декоративный пост председателя Президиума Верховного совета. Многим из окружающих Брежнев представлялся бесцветным, заурядным партийным карьеристом. А Громыко и на этот раз не изменили чутье и удача.