Все прошения, ходатайства, меморандумы о правах евреев, которые представлялись правительству, всегда проходили строгую цензуру Горация. Врожденный такт подсказывал барону наиболее подходящие выражения. Он нещадно вычеркивал такие слова, как «весьма», «крайне», «бесспорно». В результате документ под его пером обретал спокойный, деловой, ровный характер и выигрывал в своей эффективности. Сей особый «баронский» стиль был почтительным, но требовательным.
Гораций Осипович пристально наблюдал за жизнью своих соплеменников на местах и всегда вставал на их защиту, отстаивая их интересы в Правительствующем Сенате. Он заручился в этом поддержкой человека, коего современники называли не иначе, как «судьей праведным», а именно начальника первого департамента Сената В.А. Арцимовича. Благодарная память об этом сановнике-юдофиле увековечена в выполненном М.М. Антокольским бюсте Арцимовича, которым Гинцбург украсил свой рабочий кабинет.
В 1882 г. Гораций принял деятельное участие в работе Высшей комиссии по пересмотру законодательства о евреях под председательством бывшего министра юстиции графа К.И. Палена, созванной самим царем. Слыл Пален мужем справедливым и неподкупным. Его Комиссия предприняла серьезное обследование жизни российских евреев. Были подготовлены и изданы труды об экономическом положении евреев в черте оседлости, об истории законодательства о евреях, о статистике еврейского населения и т. д. И тут в дело вступает барон. Он с фактами в руках опровергает расхожее мнение, что евреи якобы уклоняются от воинской повинности. Гинцбург предоставляет материал, из коего следует, что официальные цифры недобора евреев объясняются их неправильной регистрацией при призывах, а также установленными для них особыми правилами набора. На самом деле в процентном отношении число призывников-евреев даже превышает количество представителей других национальностей. И вот победа: большинство членов Высшей комиссии имело мужество признать, что существующие ограничения не решают еврейского вопроса, что дальнейшее следование по этому пути и несправедливо, и не вызывается надобностью, принося лишь вред (в том числе и экономический) не только самим евреям, но и всему населению. Комиссия предложила постепенно расширять права евреев. Словом, Пален и его сотрудники не оправдали «доверия» Александра III, открыто проводившего шовинистическую, антисемитскую политику.
К несчастью, неожиданно для всех в 1887 г. Комиссия была закрыта. Тогда решение о судьбе еврейского народа было передано в руки Совещания, образованного Министерством внутренних дел под председательством завзятого реакционера В.К. Плеве, бывшим в то время товарищем министра. Зоологический антисемит и карьерист, стремившийся выслужиться перед юдофобом-царем, Плеве вознамерился не только закрепить драконовские Майские правила, но и ужесточить их, доведя до крайних примеров жестокости и человеконенавистничества. Этот новоявленный Аман XIX столетия возжелал удалить из сельской местности даже тех евреев, которые проживали там законно, причем любая отлучка должна была влечь за собой запрет возврата в родные пенаты; и евреям-ремесленникам, получившим ранее разрешение жить вне черты оседлости надлежало немедленно убираться восвояси; запрещалось также приобретать и арендовать недвижимую собственность вне городов; всякое же нарушение сих «правил» должно было караться тюремным заключением.
Эти, с позволения сказать, «законодательные предложения» должны были быть внесены в Государственный Совет на утверждение. В таких условиях, казалось, всякая борьба за права евреев должна была быть парализована. Но Гинцбург продолжал работать с удвоенной силой. Он вступает в борьбу, спокойно и терпеливо раскрывая перед правительством всю вредоносность «инициативы» Плеве. Он убеждает министра финансов И.А. Вышнеградского, сколь чудовищна и дика сия средневековая нетерпимость к евреям. В докладе последнего царю ему удалось доказать приносимую евреями пользу для экономической жизни страны; министр обратил также внимание самодержца на то, что проекты Плеве весьма неблагоприятным образом скажутся на финансах империи. И усилия барона увенчались успехом: предложения Плеве не были представлены в Государственный совет и канули в Лету. Так Гинцбург сумел отвратить страшную беду, нависшую над русским еврейством! Если бы за бароном не числилось никакой другой заслуги, кроме этой, то и ее одной было бы достаточно, чтобы его имя осталось навсегда памятным для евреев.