Родился в семье известного учёного Отто Юльевича Шмидта и литературоведа Маргариты Эммануиловны Голосовкер (19 апреля 1889 года — 8 ноября 1955 года), впоследствии заведующей сектором художественной иллюстрации Института мировой литературы АН СССР (1935—1949). Окончил исторический факультет Московского университета в 1944 году. C 1949 года преподавал в Московском историко-архивном институте (ныне Российский государственный гуманитарный университет). Доктор исторических наук (1965 год). Почётный доктор РГГУ, с 1970 года — профессор. Одновременно с 1956 года работал в Институте истории АН СССР (ныне Институт российской истории РАН), с 2001 года — в Институте славяноведения РАН.
С 1992 года — действительный член — учредитель Российской академии образования, с 1997 года — Иностранный член Польской академии наук. Советник РАН.
Председатель Союза краеведов России (с 1990 года; на момент смерти — почётный председатель); один из инициаторов составления и издания двух краеведческих альманахов «Арбатский архив» (1997, 2009).
В 1968—2002 годах являлся председателем Археографической комиссии Академии наук (Комиссии Института славяноведения РАН по археографии, архивоведению и смежным дисциплинам). В дальнейшем, до самой смерти, был её Почётным Председателем (возглавлял комиссию член-корреспондент РАН С. М. Каштанов).
Член Государственного совета при Президенте Российской Федерации по особо ценным объектам культурного наследия народов Российской Федерации, многих учёных и научных советов, редакционных коллегий, Председатель Всероссийского общества краеведов, председатель жюри Анциферовской премии, ответственный редактор «Археографического ежегодника», Московской энциклопедии, ряда периодических изданий. Заместитель председателя редакционного совета библиотеки «История Москвы с древнейших времен до наших дней», руководитель Учебно-научного центра исторического краеведения и москвоведения, с 1949 года бессменно руководил студенческим научным кружком источниковедения отечественной истории.
Более 500 научных трудов по истории культуры, историографии, археографии, архивоведению и др. Особенно значимы труды по средневековой российской истории XVI—XVII веков.
В 2009 году получил премию «Триумф» в номинации «Гуманитарные науки».
Скоропостижно скончался 22 мая 2013. Похоронен на Введенском кладбище в Москве рядом с матерью.