Отец Владимир Константинович Андропов — железнодорожный служащий, учился или окончил Московский институт железнодорожного транспорта. Работал телеграфистом на станции Нагутской. Умер от сыпного тифа в 1919 году.
Мать Андропова, учительница музыки Евгения Карловна Флекенштейн, была приемной дочерью уроженцев Финляндии — торговца часами и ювелирными изделиями Карла Францевича Флекенштейна и Евдокии Михайловны Флекенштейн, вскоре после рождения сына Георгия (Юрия) во второй раз вышла замуж в 1921 году. Умерла в 1927 году.
По версии журналиста Марка Штейнберга, в книге «10 мифов о КГБ» Александра Севера.
Отца Юрия Андропова звали Вэлв (Владимир) Либерман, и был он по национальности польский еврей, а мать — Геня (Евгения) Файнштейн. Работал отец телеграфистом на станции Нагутской и умер от тифа в 1919 году. Вдова перебралась с шестилетним сыном в Моздок и вскоре вышла замуж за грека Андропуло, который и усыновил Юрия. Отчим вскоре умер, оставив в «наследство» свою фамилию (переделанную на русский лад — Андропов) и дочь Валентину.
Поэтому о своем детстве и юности Андропов вспаминал неохотно, потому что в многочисленных анкетах и автобиографиях он указывал фальсифицированные данные о своих родителях, а также месте и, возможно, даже дате своего рождения. Вл. Крючков, ближайший помощник Андропова, указывает, что он появился на свет не в 1914 году, как указано во всех энциклопедиях, а годом позже.
С августа по декабрь 1930 года Юрий Андропов работал рабочим на телеграфе, а с декабря 1930 года по апрель 1932 года — учеником и помощником киномеханика Клуба железнодорожников. С 1931 года работал матросом речного флота на Волжском пароходстве. В 1932 году поступил в Рыбинский речной техникум, который окончил в 1936 году, после чего работал на Рыбинской судоверфи.
В 1935 году женился на дочери управляющего Череповецким отделением Госбанка Нине Ивановне Енгалычевой, которая училась в том же техникуме на электротехническом факультете, а потом работала в Ярославском архиве НКВД. У них было двое детей — Евгения и Владимир.
В 1936 году Андропов стал освобожденным секретарем комсомольской организации техникума водного транспорта в Рыбинске, затем комсоргом Рыбинской судоверфи. Вскоре бы назначен завотделом горкома комсомола Рыбинска, затем завотделом обкома комсомола Ярославской области. С 1938 по 1940 год он возглавлял Ярославский обком ВЛКСМ.
Активная общественная деятельность позволила ему быстро продвигаться по комсомольской линии в Ярославской области, а с 1940 года работал в Петрозаводске, где руководил комсомолом и партизанским движением на оккупированных территориях, но не направлялся за линию фронта в связи с болезнью почек.
В 1943 году в «Комсомольской правде» была опубликована его статья «Любовь к народу» с критикой Жданова и Маленкова за недостаточную идеологическую работу. За это Андропова сняли с должности, но вскоре он стал вторым секретарем ЦК ВКП(б) Карело-Финской республики.
Андропову приходилось работать в тесном контакте с руководителями НКВД в Ярославской области и особенно в Карелии, где было большое количество объектов ГУЛАГа. При этом, когда вышло указание НКВД о прекращении тесного сотрудничества с партийными работниками, Андропов связь с органами не прекращал. Очевидно, это и было главной причиной того, что он уцелел не только во время репрессий 1937–1938 годов, но и в послевоенные годы.
Основателю компартии Финляндии и председателю Президиума Верховного Совета Карело-Финской республики Отто Куусинену удалось избежать широкого размаха репрессий по «Ленинградскому делу». Андропов также ждал ареста, но уцелел, хотя на всю жизнь сохранил осторожность, скрытность, хитрость и подозрительность.
Законченного высшего образования Андропов получить не смог, хотя и учился в двух вузах — в Высшей партийной школе и Петрозаводском госуниверситете. Однако, постоянно занимаясь самообразованием, он стал одним из самых теоретически подкованных и эрудированных руководителей партии.
В первой половине 50-х Андропов уже работал в аппарате ЦК ВКП(б). но его карьере помешает конфликт с Маленковым. Он не выполнил его поручение о подготовке материалов для снятия литовского секретаря Снечкуса по требованию Суслова. В результате Андропов вынужден был перейти на работу в Министерство иностранных дел, где сначала возглавляет Четвертый европейский отдел, а затем был направлен в советское посольство в Венгерскую Народную Республику советником посла.