Еще в Рыбинске Андропов женился на своей однокурснице по техникуму Нине Ивановне Енгалычевой. Почти пять лет молодые супруги жили в мире и согласии. У них родились дочь и сын, которых Юрий Андропов назвал в честь родителей — Евгенией и Владимиром. Брак, однако, распался. Андропов получил назначение в ЦК ЛKCM Карелии и должен был уехать из Ярославля. Нина Ивановна за ним не последовала. Она училась в институте и готовилась к работе следователя. Жизнь первого сына Ю. В. Андропова Владимира не сложилась. Он учился в Нахимовском и Суворовском училищах, в ПТУ, часто менял профессии и место жительства, очень редко встречаясь или обмениваясь письмами с отцом. Когда Андропов в 1967 году занял пост Председателя КГБ, его первый сын работал механиком-наладчиком на Тираспольской швейной фабрике в Молдавии. Сын не обращался за помощью к отцу, а Юрий Андропов не считал возможным вмешиваться в жизнь сына и его семьи. В газете «Слово» в июне 1999 года была опубликована фотокопия письма Юрия Андропова сыну от 15 августа 1967 года. Отец советовал Владимиру поступить в Кишиневский электротехнический техникум. «В Москве, — писал сыну председатель КГБ, — я постеснялся спросить тебя относительно того, готов ли ты к экзаменам для поступления в институт, а ведь это вопрос — не последний. Думаю, что для экзаменов в техникум знаний у тебя хватит. Я узнал, что в Кишиневе есть электротехнический техникум. В него принимают после 8 класса. Справку об окончании 8 класса ты, конечно, легко мог бы получить в Ярославле… Очень сожалею, что не смог помочь тебе, но ты должен понять, что если я так пишу, значит по-иному ничего сделать нельзя»[17]. У первого сына Андропова были срывы, были даже судимости, но с отсрочкой приговора. Он часто болел и умер в 1975 году в Молдавии. Он не общался ни с матерью, ни с сестрой, и на его похоронах из родных была только жена Мария с маленькой дочерью, внучкой Юрия Владимировича, которой он так и не видел. Жизнь дочери Андропова Евгении сложилась более удачно. Она закончила медицинский институт и работала врачом в Ярославле. Только в начале 1970-х годов Юрий Владимирович пригласил уже взрослую дочь погостить у него в Москве. Она жила в подмосковной резиденции Андропова, бывала и в его кабинете на Лубянке, рассказывала о сыновьях Андрее и Петре, внуках генсека. Оба этих молодых человека мечтали поступить в Высшую школу госбезопасности и идти по стопам деда. Андропов, однако, сказал дочери, что он в жизни всего добивался сам и поэтому не будет устраивать судьбу внуков[18]. Евгения Юрьевна и сейчас иногда приезжает в Москву, чтобы навестить сыновей и положить цветы на могилу отца. Такой же букет цветов она кладет перед этим на могилу матери в Ярославле.
В Карелии Юрий Андропов начал работать в 1940 году. Он получил здесь важное поручение — возглавить все комсомольские организации в только что образованной союзной республике — Карело-Финской ССР. Еще раньше и также по комсомольским делам в Петрозаводск приехала Татьяна Филипповна, вторая жена Андропова. В новой семье тоже родилось двое детей — сын Игорь, ставший позднее дипломатом, и дочь Ирина, работавшая в 1960—1980-е годы на поприще журналистики.
С началом Великой Отечественной войны Андропов активно участвовал в организации партизанского движения в Карелии, значительная часть которой, включая Петрозаводск, была оккупирована немецкими и финскими войсками. Он продолжал возглавлять комсомол и на неоккупированной части республики. Карельский фронт не считался в годы Отечественной войны одним из главных, и позднее о боях в этих местах писали мало. Однако в книгах, изданных в Петрозаводске и Ленинграде в 1960—1970-е годы, упоминался и молодой Андропов. В начале 1980-х, когда Андропов возглавил страну и партию, в Москве и Петрозаводске вышло в свет еще несколько книг о боевых действиях и партизанском движении на Карельском фронте. Упоминание об активном участии первого секретаря ЦК ЛКСМ Карелии Ю. Андропова в организации партийного и комсомольского подполья содержится и в энциклопедии о Великой Отечественной войне[19]. Карельские партизаны, как и солдаты на Карельском фронте, страдали от суровых климатических условий. В некоторых мемуарах можно найти упоминание о том, что именно в годы войны в холодном и болотистом Карельском крае Андропов приобрел ту болезнь почек, которая так осложнила его жизнь.
С 1944 года Андропов перешел на партийную работу; столица Карелии была освобождена, и Андропов занял пост второго секретаря Петрозаводского горкома партии. Вскоре он начал учиться в Петрозаводском государственном университете, а затем и в Высшей партийной школе при ЦК КПСС. Однако не окончил ни одного из высших учебных заведений. Но он всегда много читал, занимался самообразованием, пытался изучить английский и немецкий языки.