Род Столетовых жил во Владимире с давних времен. С давних, но не с незапамятных. Семейные предания сохранили память о том, что Столетовы пришли во Владимир из Новгорода при Иване III, который сослал Столетовых вместе с другими новгородскими семьями за крамолу.
Отец будущего ученого, Григорий Михайлович Столетов, был небогатым купцом. У него была небольшая бакалейная лавочка и заведение по выделке кож. Но и этого он чуть не лишился.
В начале пятидесятых годов родня Григория Михайловича начала против него судебную тяжбу: хотели отсудить у него дом и лавку. Приговор был вынесен в пользу родни. Семье Столетовых, очень уважаемой в городе, грозило разорение. Однако во Владимире нашелся сведущий в судебных делах человек, который принял в судьбе семьи Столетовых горячее участие и помог добиться отмены приговора.
Отец Александра Григорьевича был человеком замкнутым, неразговорчивым. Из всех детей Григория Михайловича на него особенно походил сын Дмитрий (1845–1899), младший из братьев Столетовых. Некоторые черточки отца — сдержанность, нелюбовь к чувствительным излияниям и громким словам, подчеркнутую вежливость, постоянную корректность — унаследовал и сын Александр.
Вечно занятый своими делами, Григорий Михайлович был в семье почти гостем. Воспитанием детей занималась главным, образом его жена Александра Васильевна (1806–1889).
Александра Васильевна, урожденная Полежаева, была родом из Касимова. Происходила она тоже из купеческого сословия. Женщина эта была, по тем временам, незаурядная: она была не только грамотна, но и начитанна. Арифметику и русский язык Александра Васильевна сама преподавала детям. Она всегда относилась к ним с большой нежностью, и они платили ей тем же. Уже в глубокой старости сына нередко с едва скрываемой тревогой говорила: «Что-то там мои мальчики?» — хотя «мальчикам» было уже за пятьдесят.
В необычном для купечества быте столетовской семьи ничто не напоминало того «темного царства», которое заклеймил в своих произведениях великий драматург А. Островский. Самодурства, грубости, жестоких наказаний для детей — ничего этого в семье Столетовых не было.
В дружной семье, где все основывалось на взаимном уважении, не существовало проблемы «отцов и детей».
Хотя родители были религиозны, а подчас и суеверны, твердо помнили, к какому угоднику по какому случаю надо обращаться, верили в сны, в приметы (Александра Васильевна, например, говорила детям, что, съев яйцо, надо обязательно раздавить пустую скорлупу, чтобы не завелась «нечисть»), они тем не менее отлично понимали, что детей обязательно нужно учить и учить хорошо.
В доме Столетовых знания ценили; покупали книги, выписывали журналы.
Детей с ранних лет приучали к труду, им внушали уважение к труду другого человека.
Все дети учились во Владимирской гимназии. Кончить гимназию не удалось только старшему брату — Василию (1825–1896). Очень способный и умный человек, Василий Григорьевич вынужден был покинуть гимназию, так как ему пришлось заняться делами — помогать отцу. Не доучившись в гимназии, Василий Григорьевич потом упорно пополнял свои знания самообразованием. Тяготясь купеческими делами, старший брат приложил немало усилий, чтобы избавить младших от судьбы, выпавшей на его долю. Большой заслугой Василия Григорьевича было то, что именно по его настояниям младшие братья не только окончили гимназию, но и получили университетское образование.
Каждый из братьев пошел своей особой дорогой, но все они распростились с купеческим сословием. Николай и Дмитрий стали военными, Александр посвятил себя науке.
Потеряли связь с купечеством и сестры. Старшая сестра, Варя (1836–1909), вышла замуж за архитектора, а Анна (1847–1905) стала женой офицера.
Сын младшей сестры Александра Григорьевича Столетова, Николай Порфирьевич Губский, скончавшийся в 1948 году, рассказывал:
«Я хорошо помню полученное Василием Григорьевичем в день его 70-летия письмо от Александра Григорьевича. В письме Александр Григорьевич, приветствуя «дорогого юбиляра», с благодарностью вспоминал, как много ему обязаны младшие братья, и, в частности, он — Александр Григорьевич. Несомненно, Александр Григорьевич разумел здесь настояния Василия Григорьевича, чтобы братья прошли и среднюю и высшую школу».
Помощь, которую оказывал старший брат будущему великому физику, не ограничивалась только добрыми советами. Василий Григорьевич помогал Александру Григорьевичу и материально, когда тот учился в Московском университете.