Тесные отношения установились у Горация Осиповича с художником И.М. Крамским, который рисовал портреты семьи Гинцбургов, а также придворным живописцем М.А. Зичи, писавшим виртуозные, отмеченные чертами салонности сцены охоты. Гораций собирал современную русскую живопись, в его петербургском доме хранилась коллекция портретов XIX века. Именно Гинцбург способствовал тому, что никому не известный портняжный подмастерье из Вильны М.М. Антокольский получил академическое образование и обрел всемирную славу скульптора. И барон никогда не оставлял его своими милостями, предоставив возможность уже неизлечимо больному Антокольскому провести последние месяцы жизни в благословенной Швейцарии. Гинцбург создал тогда в Академии искусств специальный фонд для выдачи премий евреям-художникам.
Приятельствовал барон и с первым директором Петербургской консерватории А.Г. Рубинштейном, и с известным виолончелистом К.Ю. Давидовым, и с скрипачом, профессором Л.С. Ауэром. Он оказывал материальную поддержку юным скрипачам Яше Хейфецу и Мише Эльману – они были стипендиатами Гинцбурга.
Но особенно продуктивно благотворительная и образовательная деятельность Горация Осиповича реализовалась в рамках «Общества для распространения просвещения между евреями России», председателем которого он стал после смерти отца. Так, в 1880 г. им был основан фонд для помощи еврейским студенткам. Впечатляющей была и издательская продукция просветителей. Увидели свет «Русско-еврейский архив» (под редакцией С. Бершадского, Т. 1-2; Спб., 1882), «История евреев» Г. Греца (Cпб., 1883) и др. Для изучения истории евреев России была создана особая Еврейская историко-этнографическая комиссия (преобразованная впоследствии в Еврейское историко-этнографическое общество). Именно она напечатала классический труд «Регесты и надписи» (Т. 1-3. Спб., 1899-1913), ставший настольной книгой каждого любителя еврейской старины. Была организована этнографическая экспедиция, собравшая уникальную коллекцию предметов национальной материальной культуры, – эта коллекция потом легла в основу музея («благополучно» закрытого при советской власти).
Велики заслуги Общества и в деле начального образования евреев. Были изданы «Сборник в пользу начальных еврейских школ» (1896), «Справочная книга по вопросам образования евреев» (1901). Выдавались субсидии как евреям-учащимся общих учебных заведений, так и непосредственно еврейским начальным школам. Общество содействовало и открытию новых школ, ставя условием преподавание в них религиозных предметов и языка иврит. Работа Общества значительно расширилась с открытием новых отделений в Москве (1894), в Риге (1898), в Киеве (1903). К концу жизни барона Общество насчитывало 30 отделений с семью тысячами членов; в его распоряжении находились 9 библиотек. В 1907 г. под патронажем Общества в Гродно были открыты двухгодичные педагогические курсы для подготовки кадров еврейских учителей.
Гораций Осипович незамедлительно отзывался на каждую еврейскую беду. Так, он молниеносно отреагировал на сообщение, пришедшее в 1878 г. из Кутаиси: группу евреев облыжно обвиняли здесь в ритуальном убийстве христианского мальчика. Барон не только нанял для ведения дела лучшего адвоката, но и вдохновил профессора восточного факультета Петербургского университета, выдающегося ориенталиста-семитолога Д.А. Хвольсона написать ученое сочинение по истории кровавого навета и опровержению его. Книга профессора «Употребляют ли евреи христианскую кровь?», изданная на средства Гинцбурга, – первое в России исследование по сему вопросу – была переведена на несколько европейских языков и имела широкий резонанс. В результате кутаисские евреи были оправданы, причем отвергнута была сама идея о ритуальном убийстве, допускаемом еврейской религией.
Приход к власти Александра III, круто изменившего политику в отношении евреев, отнял всякую надежду на какие-либо позитивные перемены. Историки говорят о патологическом антисемитизме этого императора, характеризуя его отношение к иудеям как «апофеоз злобствования, безграмотности и узколобой, антихристианской мстительности».
Ненависть сего венценосца к еврейскому племени прослеживается еще со времен Русско-турецкой войны 1877-1878 гг. Тогда армия под водительством Александра, в то время цесаревича, потерпела сокрушительное поражение. Причиной сего, как ему казалось, была нераспорядительность евреев-поставщиков. Злоба на них, при недостаточной личной культуре, перенесена была им на евреев вообще. Масла в огонь подлило и то, что в результате позорного для России Берлинского Конгресса 1878 г., благодаря влиянию французских и английских еврейских деятелей («Алианс Израэлит»), евреям Балканских государств были гарантированы равные права. Это повлекло за собой и временное либеральное отношение к евреям в России, олицетворяемое в правительстве Александра II М.Т. Лорис-Милюковым, который даже всерьез обсуждал возможность отмены черты оседлости. Все это вызвало резкое неудовольствие Александра III, видевшего вокруг всевластие могущественной «жидовской спайки». Причем в своем еврейском (точнее, антиеврейском) законодательстве он руководствовался не какими-либо рациональными, государственными резонами, нет – им двигали эмоции, предубеждение, предрассудки. Примечательно, что на одном из ходатайств, сетующем на вопиющую дискриминацию русских евреев, он, оправдывая такое положение дел, пишет на полях: «...Они забывают страшные слова их предков. Кровь Его на нас и на чадах наших! Вот в чем вся их гибель и проклятие Небес!». То есть юридический вопрос о правах граждан он по существу превращает в напоминание о легендарной вине и коллективной ответственности еврейского народа перед христианством. Как видно, из всех российских монархов ему более всего была близка отличавшаяся воинствующей юдофобией императрица Елизавета Петровна с ее знаменитым: «От врагов Иисуса Христа не желаю интересной прибыли!»