Мать Анатолия Васильевича — Елена Викторовна Ржанова, происходила из старой дворянской семьи Смоленской губернии. Училась в московском Екатерининском институте благородных девиц. По окончании института поступила на специальные курсы делопроизводства на французском языке, затем поступила на службу в московскую городскую управу. После революции работала в российском телеграфном агентстве «Роста», преподавала немецкий и французский языки в артиллерийско-технической школе. После переезда в Ленинград поступила на курсы усовершенствования при Плехановском институте иностранных языков, по окончании которых до начала войны преподавала французский язык в Институте иностранных языков. После первой блокадной зимы Василий Михайлович забрал жену в свою бригаду, где она служила в финансовой части писарем.
Анатолий Ржанов, как сын военнослужащего, переменил много мест жительства, сменил несколько провинциальных школ, но закончил школьное образование в Ленинграде с «золотым аттестатом». Школьные золотые медали были введены постановлением СНК СССР № 1247 от 30 мая 1945 г. До этого времени отличникам учебы выдавали аттестаты с золотой каймой. Они давали право на поступление в высшие учебные заведения без экзаменов и право на получение ценного подарка.
В 1937 г. Анатолий подал документы в приемную комиссию Индустриального института, который вскоре был переименован в Ленинградский Политехнический институт им. М.И. Калинина.
Нужно сказать, что еще в 1936 г. у Анатолия произошло столкновение с двумя парнями в районе Смоленского кладбища, в результате которого он получил ушиб лица в районе левого глаза, к сожалению, с последствиями — врачи диагностировали отслойку сетчатки глаза. Юноша перенес две операции, но полностью зрение не восстановилось.
В институте он успешно прошел курс вневойсковой военной подготовки и весной 1940 г. ждал присвоения звания младшего инженера — лейтенанта. Однако не прошел медкомиссию и был снят с учета в военкомате, как не подлежащий к службе в армии.
В мае 1941 г. Анатолий проходил практику в лаборатории завода «Севкабель». В июле вступил добровольцем в дивизию народного ополчения при «Севкабеле» (ДНО), был назначен командиром взвода, но отчислен врачами из состава батальона по состоянию здоровья. Тогда юноша принял решение о подготовке и защите диплома. В декабре 1941 года А. Ржанов защитил досрочно диплом с отличием Ленинградского политехнического института.
Первая блокадная зима стала для Анатолия и его матери тяжелейшим испытанием. Уже на склоне лет Анатолий Васильевич удивлялся тому, как плохо была подготовлена к военным лишениям их семья, учитывая тот факт, что родители пережили в своё время и голод, и разруху. В январе 1942 г. Анатолий принял решение добираться в бригаду отца на Ораниенбаумский пятачок через Лисий нос. Начфин 2-й ОБМП приготовил «липовую бумажку» с печатью и подписью о вызове специалиста наладки штабных раций, которая позволила беспрепятственно пройти все контрольные пункты по пути следования. В бригаде у отца Анатолий целый месяц отъедался и приходил в себя. По воспоминаниям Анатолия Васильевича в бригаде было создано несколько охотничьих команд, которые подстреливали лосей. В полосе обороны бригады протяжённостью более 24 км было несколько десятков небольших деревень и хуторов, население которых было эвакуировано ещё в августе 1941 г. Остались не убранные картофельные поля. Мороженый картофель шёл в пищу. Для предупреждения цинги всю зиму 1941–1942 гг. бойцов поили настоем из сосновой хвои. После того, как возвратились силы, Анатолий начал проводить теоретические и практические занятия с младшим командным составом — пригодились знания, полученные в институте в ходе военной подготовки. Постепенно стал принимать участие в разработке разведывательных операций в разведотделе штаба бригады. Впоследствии, уже став известным учёным, академиком, Анатолий Васильевич подчёркивал, что деятельность фронтового разведчика — это не серия приключенческих трюков, это очень тяжёлый, систематический, изнуряющий труд.
Ежедневно полуголодные разведчики проходили 20–30 км по болотам, затем многочасовое лежание в этом же болоте для проведения глазомерной или инструментальной съёмки немецких позиций и систематическое наблюдение за поведением противника, выбор мест для незаметного подхода к огневой точке противника и захват пленного. За разработку нескольких операций по захвату пленных Анатолий был представлен к званию лейтенанта и назначен адъютантом командира бригады (т. е. своего отца).