Он жил исключительно интересами еврейства. И евреи всей России обращались к Горацию Осиповичу за помощью, относились к нему с неизменным уважением и благодарностью. «Укажите хоть одно местечко, – говорил о нем раввин В.И. Темкин, – которое в минуту скорби не просило бы барона об участии, о защите. Найдете ли вы хоть одного еврея, который в минуту отчаяния, в минуту горького страдания не взывал к барону?»
Неоценима роль Гинцбурга как созидателя и главы Петербургской еврейской общины. Он организовал строительство столичной синагоги на Офицерской улице, торжественное открытие которой состоялось в 1892 г. Она действует и поныне. Этот архитектурный памятник в еврейском мавританском стиле – одна из ярких достопримечательностей города на Неве. Барон стал председателем Правления синагоги, при коем был устроен отдел общественного призрения, оказывавший помощь бедным. А ранее его жена, Анна Гесселевна, учредила на Васильевском острове еврейский сиротский дом.
Трудно перечислить все дела, по которым барон выступал ходатаем, все еврейские мероприятия, которые он финансировал. Гинцбург щедро помогал жертвам пожаров, неурожаев, погромов, других бедствий. При этом он неизменно оставался русским патриотом, что признавали даже его враги, с коими он боролся. Он любил Россию такой, какая она есть, но с теми надеждами, которая она ему внушала. Патриотизм соединялся в нем с глубокой лояльностью по отношению к царю и правительству. Он знал недостатки режима, но никогда не боролся против существующего строя, следуя заветам Талмуда, что законы государства требуют неукоснительного подчинения. Болью отзывался в его сердце уход многих евреев в революционное движение.
Заслуги Гинцбурга признало и русское правительство, возведя его в 1889 г. в ранг действительного статского советника, что соответствовало генеральскому чину, и наградив его высшими орденами. Но главное то, что барон был оценен властями как лидер всего российского еврейства.
Гораций Осипович верил в счастливое будущее евреев именно в России, не одобряя ни идеи сионизма, ни эмиграцию в Палестину, Аргентину и США, принявшую тогда массовый характер. Но, уважая выбор многих своих единоверцев и понимая, что без его участия в сем деле (в том числе и материального) переселение евреев из России невозможно, он возглавил в 1893 г. центральный комитет Еврейского колонизационного общества. Вскоре под его патронажем работало 507 эмиграционных комитетов! Впоследствии именем Гинцбурга будет названа земледельческая колония в Аргентине.
Барон ушел в мир иной в 1909 г. на 76-м году жизни. Очень проникновенно сказал о нем на гражданской панихиде Г.Б. Слиозберг: «Красой Израиля был Гораций Осипович. Он был красою не тем, что был богат и знатен, не тем, что влиятелен и свое влияние всегда направлял на пользу других, и не тем еще он был красою, что он щедро уделял для ближних от щедрот, коими его самого одарила судьба... Не было горя человеческого, которому он не сочувствовал бы и которое не стремился бы облегчить, не разбирая, кто страдает – свой или чужой, да и не было для него чужих. Но не только этим он был красою еврейства. Даже и не тем еще, что, любя прекрасное, он поощрял искусство во всех его проявлениях, что, будучи сам просвещен, он просвещал других и сеял просвещение щедрою рукой направо и налево, даже не только рядовой сеялкою, – в уверенности, что как бы ни было брошено семя на благодарной почве еврейства, – оно даст богатые плоды. Был он красою еврейства тем, что был живым образцом еврея, проникнутого еврейским духом, еврейским идеалом, и все, что он делал и чем он был, было проявлением его еврейства. Все, что он делал, – он делал не, как говорят иные, "хотя он был еврей", а именно "потому, что он был еврей". Во всем он следовал заветам еврейского вероучения и морали, ни на минуту он не забывал, что, по словам наших законоучителей, "мир крепок тремя предметами: истиной, справедливостью и благоволением"».
Гинцбург завещал похоронить его в Париже, там, где покоился прах его отца. Церемония отправки тела во Францию была обставлена чрезвычайно торжественно. Присутствовали делегации из многих городов. До Парижа гроб везли специально выделенные посланцы.
Но через какое-то время имя Горация Осиповича стало забываться. Оно и понятно: он был слишком традиционным еврейским лидером, верноподданнически ходатайствовавшим перед власть имущими о своем народе. Царское же правительство не желало облегчать положение евреев, видя в чужеродной нации и козла отпущения, и причину революционного движения. «Да будет же мне Союз русского народа надежной опорой, служа во всех и во всем примером законности и порядка!» – подбадривал черносотенцев император Николай II, вовсе не собираясь охранять евреев от погромов и преследований. В этих условиях надо было не просить, а требовать, кричать, а то и браться за оружие. А еще позднее разразился Октябрьский переворот с его лозунгами интернационализма и пролетарской солидарности, начисто отвергнувший национальную идентификацию еврейства. Понятно, что в этих условиях имя известного еврейского «штадлана» было почти под запретом: сведений о нем мы не находим ни в одной изданной в СССР энциклопедии или же биографическом словаре.