Двадцать пятого октября 1917 года Склянский с отрядом красногвардейцев занял штаб Петроградского военного округа. Он был включен в состав коллегии Наркомата по военным и морским делам, возглавил Военно-хозяйственный совет и занимался организацией и снабжением Красной армии. 23 ноября 1917 года его назначили заместителем наркома по военным делам, поручив ему общее руководство военным министерством.
Когда наркомом стал Троцкий, он сразу оценил организационные таланты своего заместителя. В марте 1918 года Склянского ввели в Высший военный совет, затем в РВС Республики. 26 октября он был утвержден заместителем председателя Реввоенсовета. Склянский, по словам Троцкого, отличался «деловитостью, усидчивостью, способностью оценивать людей и обстоятельства», то есть он был умелым администратором или, как сейчас бы сказали, менеджером.
Склянский вспоминал, как создавались советские вооруженные силы: «Действующая армия слагалась сначала из отдельных мелких отрядов, действующих на далеких окраинах. Армии, как таковой, в сущности, не было, и Народному комиссариату по военным делам приходилось руководить этими небольшими отрядами иной раз не выше роты, находящимися вдобавок вне пределов досягаемости».
Сергей Иванович Гусев, который приложил руку к отставке Склянского, и тот должен был признать на пленуме ЦК:
— Вы знаете, что сначала был Реввоенсовет, состоящий из огромного количества членов, которые фиктивно числились, а фактически руководил делом товарищ Склянский, который сидел в Москве.
«Склянский председательствовал в мое отсутствие в Реввоенсовете, — писал Троцкий, — руководил всей текущей работой комиссариата, то есть главным образом обслуживанием фронтов, наконец, представлял военное ведомство в Совете Обороны, заседавшем под председательством Ленина… Он был всегда точен, неутомим, бдителен, всегда в курсе дела. Большинство приказов по военному ведомству исходило за подписью Склянского…»
Сохранилась обширная переписка Ленина со Склянским, который был для вождя главным источником информации о положении на фронтах и главным исполнителем ленинских приказов. На протяжении всей Гражданской войны практически всякий документ по военным делам Владимир Ильич переправлял Склянскому на отзыв.
Ленин очень высоко его ставил, почти всегда принимал предложения Склянского и говорил: «Прекрасный работник!» Сделал Склянского членом ВЦИКа и Совета обороны. Владимир Ильич ценил Эфраима Марковича и как постоянного партнера по шахматам, хотя обыкновенно ему проигрывал.
Сталин, ясное дело, ненавидел Склянского, который требовал от него полного подчинения приказам Реввоенсовета. Через много лет, во время Великой Отечественной войны Сталин как-то беседовал с генералом Андреем Еременко и спросил:
— Склянского помните?
— Помню, — ответил Еременко.
— Так вот, будучи дважды наркомом, — сказал Сталин, — я в свое время подчинялся Склянскому — заместителю наркома…
Политбюро объяснило членам ЦК: «Сам тов. Троцкий в последние годы уделял армии совершенно недостаточно внимания. Основная работа в Реввоенсовете находится в руках тов. Склянского и группы беспартийных спецов, состоящей из главкома Каменева, Шапошникова и Лебедева… Когда нам стало ясно, что надвигается время, когда армия вновь будет решать судьбы Республики, мы естественно пришли к выводу, что нельзя вверять судьбу армии исключительно названной группе».
Троцкий высоко ценил Каменева, Шапошникова и Лебедева как военных профессионалов. Но Сталин и его группа по-прежнему не доверяли офицерам царской армии, хотя со временем Борис Михайлович Шапошников станет маршалом и начальником Генерального штаба.
Третьего марта 1924 года политбюро освободило Склянского от должности и назначило вместо него Фрунзе. Как лицемерно сказал на партийном съезде Зиновьев, «в помощь товарищу Троцкому». А в реальности ему на смену.
Одиннадцатого марта Фрунзе постановлением правительства был утвержден заместителем председателя Реввоенсовета СССР и заместителем наркома по военным и морским делам. Михаил Васильевич говорил на пленуме ЦК о своем предшественнике:
— Не хочу и не могу упрекать товарища Склянского в том, что он виноват в непринятии каких-либо мер. Сам он сделал всё, что было в его силах, для того, чтобы отстоять интересы армии в соответствующих инстанциях. Его работа протекала у меня на глазах, и я свидетельствую, что она выполнялась с должной энергией. Но беда в том, что он не имел достаточного партийного авторитета, благодаря чему все эти усилия сплошь и рядом не могли дать военному ведомству и Красной армии необходимых результатов.