Можно с определенностью утверждать, что права российских евреев, полученные в 1850-х – 1870-х гг., были отвоеваны Евзелем Гинцбургом при деятельной и энергичной помощи Горация. Это же относится и к банковской и финансовой деятельности Гинцбурга-старшего: сын всегда был его правой рукой. Но Горацию Гинцбургу суждено было приумножить славу родителя и приобрести уже не только европейскую, но и всемирную известность. И не столько в предпринимательской сфере (хотя здесь он не только упрочил, но и развил дело отца, став учредителем новых акционерных обществ, крупнейших золотодобывающих товариществ, собственником сахарных заводов, спонсором строительства российских железных дорог и т. д.), сколько на ниве благотворительности и на правозащитном поприще.
Еще при жизни Евзеля Гинцбурга в Горации угадывался деятель недюжинный и вполне самостоятельный, видный филантроп и меценат. Его исключительное положение в России было засвидетельствовано Гессенским домом: в 1868 г. Гораций Гинцбург был назначен Гессен-Дармштадтским генеральным консулом в Петербурге, причем он был первым в истории некрещеным евреем-дипломатом, признанным петербургским двором. Когда в 1871 г. герцогство Гессенское было упразднено Бисмарком, Горацию (и только спустя три года и его отцу Евзелю!) было даровано потомственное гессенское дворянство с баронским титулом в придачу.
Размах благотворительности Горация Гинцбурга не имел границ. Казалось, нет в Петербурге такого крупного начинания, в котором он не принял бы участия как своими щедрыми денежными взносами, так и своим трудом. И отнюдь не все из них непосредственно касались его единоверцев. То он учреждает образцовое ремесленное училище имени цесаревича Николая, то обустраивает при Биржевой больнице специальный хирургический лазарет, в коем сотням нуждающихся оказывается неотложная помощь первоклассными медиками. При его непосредственном участии в Петербурге открывается Археологический институт, получивший статус Императорского; работают Высшие женские «Бестужевские» курсы – своего рода частный университет, содержавшийся на благотворительные средства. Он жертвует ассигнования на основанный принцем А.П. Ольденбургским Институт экспериментальной медицины (по примеру знаменитого Пастеровского института во Франции), учреждает Общество дешевых квартир в Петербурге, участвует в работе Общества по улучшению условий жизни бедных детей, попечительствует Школе Коммерции императора Николая II и т. д. Перечислить все его щедрые пожертвования нет возможности. Важно то, что непременным условием его участия в сих проектах было требование равных возможностей для людей всех национальностей и вероисповеданий. «Он не делал различия между людьми... – скажет о нем современник, – ибо учители закона, которому он был всю свою жизнь верен, всегда говорили о людях, не различая ни эллина, ни иудея».
Гораций Гинцбург находился в самом средоточии интеллектуальной жизни своего времени. Его петербургский дом, как некогда дом его отца в Париже, открыл свои двери для лучших представителей передовой российской интеллигенции. Дружеские отношения связывали Гинцбурга с М.М. Стасюлевичем и литераторами круга либерального журнала «Вестник Европы»: председателем Совета присяжных поверенных Петербурга К.К. Арсеньевым; профессором уголовного права, выдающимся криминалистом В.Д. Спасовичем; историком литературы А.Н. Пыпиным; профессором Военно-юридической академии К.Д. Кавелиным; выдающимся историком искусств и меценатом В.В. Стасовым (ставшим впоследствии горячим поклонником еврейских талантов). Здесь часто бывали писатели И.С. Тургенев, И.А. Гончаров, М.Е. Салтыков-Щедрин, П.Д. Боборыкин, прославленный юрист А.Ф. Кони, терапевт, основатель школы русских клиницистов С.П. Боткин, замечательный русский философ В.С. Соловьев. С последним Гинцбурга связывали особенно доверительные и близкие отношения. Не исключено, что именно под влиянием Гинцбурга Соловьев стал изучать иудаизм по первоисточникам и приобрел основательные познания в Талмуде; биографы философа свидетельствуют, что последними его словами на смертном одре были: «Шма Израэль». К сожалению, переписка Гинцбурга c Соловьевым, а также с другими деятелями культуры, хранившаяся в архиве барона и имеющая первостепенное научное значение, погибла, опровергая известное утверждение, что рукописи не горят.