В 1961 году Папанов также снялся в фильме режиссеров А. Митты и А. Салтыкова "Бей, барабан" в роли поэта Безлошадных и в картине Татьяны Лукашевич "Ход конем" - в роли Фонарева. Однако обе эти роли не принесли актеру творческого удовлетворения.
В 1962 году на Папанова обратили внимание три режиссера - Евгений Ташков, работавший тогда на Одесской киностудии, Владимир Венгеров и Михаил Ершов (оба - с "Ленфильма"). Первый предложил нашему герою исполнить положительную роль скульптора в своем фильме "Приходите завтра" (в нем нашего героя озвучивал другой актер, так как голос Папанова считался некиногеничным), второй в картине "Порожний рейс" - отрицательную роль директора леспромхоза и третий - в фильме "Родная кровь" эпизодическую роль бывшего мужа главной героини картины (ее играла Вия Артмане). Все три фильма вышли в прокат в 1963 - 1964 годах и имели разный успех у зрителей: "Приходите завтра" собрал 15,4 млн. зрителей, "Порожний рейс" - 23 млн. и приз на Московском кинофестивале, "Родная кровь" - 34,94 млн. (занял 4-е место). Критика отметила прекрасную игру Папанова во всех этих картинах, однако попасть в первую шеренгу тогдашних советских кинозвезд актеру так и не удалось. Зрители его знали, но о всенародной любви тогда говорить было еще рано.
Настоящий успех пришел к нашему герою годом спустя - в 1964 году. Произошло это при следующих обстоятельствах. В начале 60-х годов на спектакле Театра сатиры "Дамоклов меч" побывал писатель Константин Симонов. Игра Папанова в нем настолько поразила его, что он предложил кинорежиссеру А. Столперу, который в 1963 году решил экранизировать его роман "Живые и мертвые", взять этого актера на роль генерала Федора Серпилина. Поначалу Столпер сомневался, так как знал Папанова как исполнителя в основном отрицательных, комедийных ролей (тот же Боксер был ролью резко отрицательной). Здесь же предстояло сыграть роль положительную, даже героическую. Однако К. Симонов настаивал на своем выборе, и режиссер в конце концов согласился.
Между тем долго сомневался в своих способностях сыграть положительного героя и сам Папанов. Как вспоминает Н. Каратаева: "У нас в общежитии был длинный коридор, и в нем стоял общий телефон. Ему несколько раз звонили, уговаривали, а мы все стояли и слушали, как он отказывался играть Серпилина: "Ну какой я генерал? Да нет, ну что вы, я не могу... И уже после выхода картины он мне часто говорил: "Что это все восторгаются? Чего там особенного я сыграл?"
Действительно, после выхода этого фильма на широкий экран к Папанову пришла всесоюзная слава. Роль генерала Серпилина опрокинула довольно прочно устоявшееся мнение о Папанове как об актере комедийно-сатирического направления с некоторыми драматическими задатками. В прокате 1964 года "Живые и мертвые" заняли 1-е место, собрав на своих просмотрах 41,5 млн. зрителей. В том же году картина получила призы на фестивалях в Москве, Карловых Варах и Акапулько. В 1966 году фильм был удостоен Государственной премии РСФСР.
Как вспоминает исполнитель главной роли в этом фильме К. Лавров: "Столпер с огромным уважением относился к Папанову. С самого начала чувствовалось, что этот актер - лидер в картине. О Симонове и говорить нечего: Константин Михайлович не однажды рассказывал мне, как ему нравится Толя и точным попаданием в самую сердцевину образа Серпилина, и в других ролях, и просто по-человечески. Забегая вперед, скажу, что к Папанову устремлялись душой сразу, без обычной в человеческих отношениях разведки и приглядывания. Так, в Звездном городке, куда мы привезли только что смонтированный фильм "Живые и мертвые" в сопровождении Столпера, Папанова и моем, Юрий Гагарин улучил минуту, чтобы остаться наедине с Толей и со мной, увел нас в какую-то из дальних комнат клуба космонавтов, и мы незабываемо пообщались за бутылкой кубинского рома".
После успеха "Живых и мертвых" спрос на актера Папанова среди режиссеров возрос неимоверно. Например, в 1964 году на "Ленфильме" были запущены в производство десять картин, и в восьми (!) из них пригласили пробоваться нашего героя. Он в ответ принял все предложения и был утвержден на все восемь фильмов одновременно, что было довольно редким случаем в советском кинематографе. Позднее он через дирекцию своего театра дал всем вежливый отбой: мол, не могу, занят в спектаклях.
Однако от предложений режиссеров с "Мосфильма" - Василия Пронина и Евгения Карелова, поступивших в том же году, Папанов не отказался. Оба режиссера предложили ему главные роли: первый - в картине "Наш дом", второй - в фильме "Дети Дон-Кихота". Съемки обеих картин проходили в Москве, и нашего героя это устраивало. Партнер нашего героя по первому фильму - Нина Сазонова - вспоминает: "Папанов был моложе меня, и мне подумалось, что на экране эта разница в возрасте будет слишком очевидной. Волнуясь, пришла на "Мосфильм" подписывать договор, увидела там Папанова и не выдержала - честно поделилась с ним и режиссером-постановщиком Прониным своими сомнениями. Анатолий Дмитриевич обрушил на меня град опровержений. Мягко, своим проникновенным, мелодичным голосом он говорил: "Вы посмотрите на меня. Я же страшон! У меня тяжелое лицо - для всех возрастов, до самых древних! Вы же выглядите намного моложе - неужели это не видно?!" Он так сурово расправлялся со своей внешностью в пользу моей, что спорить было просто неприлично. И он оказался прав: никто никогда не усомнился в том, что мы - нормальная, естественным путем сложившаяся семья...
Такие актеры, как Папанов, сразу же цементируют всю киногруппу, становятся не только ее творческим центром, но и ее совестью, что всегда важнее.
Папанов это блистательно доказал. Случилось так, что актеры, игравшие наших сыновей, молодые, но уже известные и много занятые в театре, на радио, в концертах, позволили себе небрежно отнестись к строгому графику репетиций и съемок. Однажды вообще не явился на "Мосфильм" Вадим Бероев, несколько раз опоздал Геннадий Бортников, что-то не так было и с Алексеем Локтевым. Режиссер Пронин пришел в отчаяние, решился на крайние меры. Но Анатолий Дмитриевич остановил его: