Сказанное делает абсолютно понятным активнейшее участие Гольденвейзера в музыкально-общественной жизни Советской страны начиная с первых же месяцев после Великого Октября, когда он избирается председателем Совета московских музыкальных деятелей. Широкую организационную деятельность Александр Борисович сочетает с практической работой по просвещению самых широких народных масс, возглавляя одну из концертных бригад, созданных в первые годы Советской власти, выступая перед рабочими, солдатами, учащимися и как исполнитель, и как лектор, комментатор звучащей в концертах музыки.
После подписания В. И. Лениным в 1918 году Декрета о национализации консерваторий Гольденвейзер — на переднем крае борьбы за перестройку работы по воспитанию и обучению музыкальной молодежи. Тяжелейшую борьбу приходится ему вести в конце 20-х годов со взглядами и активными действиями РАПМа, по существу шедшими вразрез с ленинской политикой в отношении культурного наследия прошлого. Огромное внимание уделяет Гольденвейзер воспитанию музыкально одаренных детей: по его инициативе при консерватории организуется Особая детская группа (преобразованная затем в Центральную музыкальную школу), художественным руководителем которой он становится. Музыкально-общественная, организационная деятельность Гольденвейзера выходит далеко за рамки консерватории, которую он возглавлял в течение ряда лет. Сразу после организации Союза советских композиторов он некоторое время работает заместителем его председателя, руководит секцией камерной музыки радиовещания, избирается в Президиум ЦК Союза работников искусств (РАБИС).
В выступлениях Гольденвейзера, его публикациях в прессе рассматриваются и подчас подвергаются острой критике решительно все области музыкально-культурного строительства: образование, концертная жизнь, музыкально-издательское дело, производство музыкальных инструментов, радиовещание, конкурсы и т. д. Особенно ратует Гольденвейзер за просветительский характер музыкальной жизни, развитие контактов между разными музыкальными учреждениями и учебными заведениями, дифференциацию общего и специального музыкального образования.
Самым непосредственным образом связана постоянная забота Гольденвейзера о просвещении народа с передачей им в конце жизни в дар государству богатейшей нотной и книжной библиотек, обширнейшего и ценнейшего собрания документов по истории музыкальной культуры, меморий, связанных с именем Л. Н. Толстого. Продолжением заветов выдающегося музыканта-просветителя стало посещение людьми из всех уголков нашей страны, а также из-за рубежа его бывшей квартиры, где сосредоточены ныне все эти экспонаты, а также проведение еженедельных музыкальных вечеров, широко открывающих двери для всех любителей музыки и включающих выступления как прославленных мастеров, так и учащейся молодежи.
«Еще будучи учеником консерватории, я весною 1896 года поступил преподавателем в московский Николаевский сиротский институт, где преподавал до 1918 года. С этого и началась моя непрерывная педагогическая служба в течение сорока лет». Так писал А. Б. Гольденвейзер в 1936 году в статье «Мой творческий путь». Упоминалось им и о том, что вследствие тяжелого материального положения семьи он уже с 15—16-летнего возраста стал давать частные уроки музыки; с целью же экономии ходил по урокам пешком и, чтобы не терять времени— характернейшая черта юноши-Гольденвейзера, — читал на ходу, пополняя свое образование.
Следующие этапы педагогической деятельности Александра Борисовича — преподавание с 1904 года в Московском филармоническом училище, а в 1906 году — приглашение в качестве профессора в Московскую консерваторию, где он работал до последних дней жизни.
Хотя, по его собственным словам, Гольденвейзер к началу своей преподавательской работы не имел никакой специальной методической подготовки (считая это общим минусом тогдашнего консерваторского обучения), и несмотря на то, что ему приходилось «в своей новой ответственной педагогической работе на первых порах бродить почти ощупью, учась на собственных ошибках и своих учениках», он очень скоро выдвигается в число ведущих профессоров консерватории. Уже в 1911 году его класс оканчивает С. Е. Фейнберг, впоследствии один из корифеев советской пианистической школы, в 1917 году — В. В. Нечаев, пианист и композитор, много лет бывший профессором Московской консерватории; с 1911 года Александр Борисович начинает заниматься с особенно любимым им учеником Г. Р. Гинзбургом, замечательным пианистом и педагогом, в свою очередь выпустившим многих крупных советских музыкантов.