Хотя Гольц и узнал все богатство сочетаний, дарованных классикой итальянским городкам, он оставался в те годы футуристом и вхутемасовцем, а значит, вдвойне новатором. Его пребывание в ОСА оказалось кратковременным, но первые значительные работы, выполненные вместе с М. П. Парусниковым и И. Н. Соболевым — Госбанк в Иванове (1927 г.), Госбанк в Минске (1927 г.), прядильная фабрика в Ивантеевке (1929 г.) — принадлежат конструктивизму во всем: от объемов и планов до проектной графики. Оформляющая функцию асимметрия, разнообразные сетки колонн, легкие стены, фасады на грани промышленного предприятия и общественного здания... Но среди ранних проектов есть один, уже несущий многие черты его зрелых работ — проект котельной КиевГРЭС. Он был выполнен Гольцем и Парусниковым в 1929 г. Сугубо утилитарное сооружение (всего лишь машинный зал) превращено в произведение искусства, строгое и эмоциональное одновременно. Главный фасад решен просто и мощно на контрасте двух стеклянных экранов-витрин и тяжелой кирпичной стены, увенчанной карнизом. На заднем фасаде рефреном темы становятся четыре экрана и четыре круглых окна-иллюминатора. В этой работе уживаются два понимания архитектурного организма. Едва ли не к урокам Н. А. Ладовского восходит повышенная, функцией не оправданная эмоциональность простой формы, ясное противопоставление стекла и камня. По-конструктивистски решен задний фасад, где архитектурными деталями выглядят воздухозаборники и дымовые трубы. Но на главном фасаде характерная для конструктивизма игра объемов уступает место симметричному, плоскостному решению стены, строгому и «классическому», о чем напоминает простой карниз. Это первый шаг к архитектурному рисунку на стене, который в разных формах (ордера, рельефа, фрески) охотно использовал Гольц. В чем-то эта работа предвосхищает знаменитую стену-фасад с тремя арками, возведенную А. К. Буровым для московского Дома архитектора.
С 1932 г. началась работа над комплексом зданий изогородка Всекохудожника в Москве (Балтийская ул., 14, и Часовая ул., 28). К 1936 г. были построены скульптурный корпус, литейная, склады, к 1937 г.— здание изоучилища и корпус мастерских. Двор скульптурного корпуса с его изящной аркадой не только дань Италии, гению Брунеллески. Сам замысел двора с периметральными лоджиями предполагает создание особого внутреннего пространства — парка скульптуры, музея, выставки. Несомненно, Гольц адресовался и к тем слепкам — античным и «под античность», которые должны были вскоре заселить двор, создать небывалое разнообразие поз и жестов, взглядов, одежд, серийных повторов, авторских работ. Пространство двора, организуемое помимо архитектуры и этими гипсовыми, алебастровыми, мраморными, бронзовыми мизансценами, становилось живым, постоянно обновлялось. Технологический прием открытого двора (организация освещения, хранение крупных отливок и скульптурного материала) приобрел тонкое, слегка ироническое воплощение города статуй, театра скульптур.
Архитектурные формы были лаконичны и просты, но во всем обнаруживали вкус и мастерство. Легкие арки на восьмигранных колоннах, темные тона карнизов и капителей накладных полуколонн второго яруса, асимметричность башенок на крыльях корпуса. Критика отмечала «удивительное единство и музыкальность» фасада. Это была работа, которую хотелось анализировать до мелочей, здесь замечалась уже некоторая тайна, которую следовало постичь. Говорили о многом. Например, Н. П. Былинкин писал о цвете: «Здание оштукатурено известью. В известь введена умбра, поэтому фасады приобрели теплый золотисто-коричневый фон — тон, меняющийся на протяжении дня. Коричневая окраска колонн, поясков, рамки строенных окон, теплые тона раскраски карниза — все это дает пример тактичного использования цвета архитектором, чувствующим архитектурную сторону красок земли». Гольц действительно мастерски владел цветом как в архитектуре, так и в живописи. В 1940 г. он применял графитовые и сиеновые добавки в бетон при строительстве дома на Большой Калужской (ныне Ленинский просп., 22). И все же в Изокомбинате художественный эффект не раскладывается на составляющие. Или, вернее, все они равнозначащи, внимание можно обратить на любую деталь. Вот круглое окно. Как отличается его форма от иллюминатора КиевГРЭС. Слуховое окно скульптурного корпуса — это коническая ниша-раковина, раскрывающая тело стены, обрамленная поясками. По своему расположению на гладкой оштукатуренной плоскости это почти скульптурный медальон. Но на скульптурном дворе Изокомбината банальным показался бы обычный рельеф, и Гольц создает «архитектурную скульптуру», напряженную форму — из воздуха.