«Период с 1917 по 1920—1921 гг.,— писал впоследствии Гинзбург,— является для меня периодом внутренней борьбы с традициями и канонами сугубо классической школы, усвоенной мною в Италии».
Молодой М. Я. Гинзбург приехал в Москву в 1921 г., но прошло всего два-три года, и его имя знал уже каждый советский архитектор.
М. Я. Гинзбург сразу после приезда в Москву активно включился в борьбу за новую архитектуру на самых боевых в тот период участках: это была перестройка высшей архитектурной школы, разработка архитектурной теории. С 1921 г. М. Я. Гинзбург — преподаватель, а с 1923 г.— профессор Вхутемаса. Свою теоретическую работу М. Я. Гинзбург начал с разработки проблем архитектурной композиции, что было особенно актуально в тот период, когда отвергались многие традиционные средства архитектурной выразительности.
В 1923 г. М. Я. Гинзбург издал свой первый теоретический труд «Ритм в архитектуре», в котором сделал попытку на основе анализа опыта мировой архитектуры найти некоторые общие композиционные закономерности, присущие архитектуре любого народа и любой эпохи, в частности закономерности ритмические.
Эта книга явилась началом большой теоретической работы. В 1923 г. М. Я. Гинзбург сделал попытку объединить сторонников нового направления архитектуры вокруг журнала «Архитектура» (вышло всего два выпуска), в котором он был ответственным редактором. Он написал для журнала редакционные статьи «Старое и новое» и «Эстетика современности».
В 1923—1924 гг. М. Я. Гинзбург выступил в Московском архитектурном обществе с докладами о путях развития современной архитектуры. На основе этих докладов он написал новую книгу — «Стиль и эпоха», изданную в 1924 г., в которой по отдельным, часто едва заметным росткам нового старался предугадать пути становления нового архитектурного стиля.
Великая Октябрьская социалистическая революция и первая мировая война, пишет Гинзбург, провели резкую грань между старым и новым в развитии архитектуры. Появление нового в архитектуре он связывает как с техническим прогрессом, так и с социальными изменениями в жизни общества. Особенно большое значение М. Я. Гинзбург придавал влиянию нового «социального потребителя» архитектуры — рабочего класса.
Каждая историческая эпоха имеет свои типы сооружений, определяющие архитектурный стиль. Такими типами для нашего времени Гинзбург считал сооружения, связанные с «новой активной социальной средой — классом трудящихся», содержанием жизни которой является труд.
Рабочее жилище и промышленное строительство — это те области, где зарождается новая архитектура, утверждал М. Я. Гинзбург.
Перед современным архитектором, писал он, стоят совершенно новые задачи, которые придется решать новыми средствами. Следовательно, должен появиться и новый метод решения этих задач. Лишь тогда «архитектор почувствует себя не декоратором жизни, а ее организатором». Спецификой нового стиля, по мнению Гинзбурга, является стремление к простоте. Другими важнейшими чертами современного стиля М. Я. Гинзбург считал стандартизацию строительного производства и большую роль градостроительных проблем.
Эти работы М. Я. Гинзбурга подготовили основу для организационного объединения части архитекторов-новаторов на теоретической платформе конструктивизма, что и произошло в середине 1920-х гг.
Теоретическая и педагогическая работа почти не оставляла времени для проектирования. Однако уже в эти годы Гинзбург принимал участие в архитектурной жизни не только как теоретик, но и как архитектор-практик. В своих проектах, как и в теоретических работах, он искал новые пути развития архитектуры, опираясь на достижения современной техники и промышленности.
Так, например, в одной из его первых работ того времени — конкурсном проекте Дворца труда (1922 г.) —заметно влияние архитектуры элеваторов, формы которых произвели на Гинзбурга большое впечатление своей новизной. В дальнейшем его поиски новых путей развития архитектуры приобрели иное направление. В 1925 г. М. Я. Гинзбург и братья Веснины организовали Общество современных архитекторов — ОСА, куда вошли такие архитекторы, как М. О. Барщ, А. К. Буров, В. Н. Владимиров, Г. Г. Вегман, И. А. Голосов, А. П. Иваницкий, И. И. Леонидов, Г. М. Орлов и другие.
Направление творчества архитекторов, объединенных в ОСА, известно в советской архитектуре под именем конструктивизма. Как руководители и лидеры конструктивизма братья Веснины и М. Я. Гинзбург удачно дополняли друг друга. Для творчества Весниных характерны новаторские поиски новых объемно-пространственных решений промышленных и общественных зданий, для М. Я. Гинзбурга — глубокая разработка теоретических и градостроительных проблем архитектуры, поиски новых типов жилища.