После закрытия съезда, на котором Буденного избрали членом ВЦИК, Семен Михайлович вернулся в родную 1-ю Конную. Там командарм узнал о тяжелой потере: в схватке с бандой махновцев погиб начдив Александр Пархоменко. Рассказывали, что смелый, талантливый командир попал в засаду и был убит махновцами. И надо было случиться такой беде! Сколько пережито вместе опасностей, сколько пуль и осколков пролетело над головой Сашка Пархоменко, и вдруг так нелепо погибнуть! Скорбело сердце Семена Михайловича и о других храбрецах конармейцах, павших в непрекращающихся схватках с махновцами.
Особенность махновцев состояла в том, что они хорошо знали местность, никакой отличительной формы не носили, в случае опасности прятали оружие и растворялись среди населения. Кулаки охотно снабжали их подменными конями, продовольствием, фуражом. Отыскивая новые методы борьбы против махновцев, командарм все больше убеждался, что драться с ними надо, используя их же приемы. Против небольших, высокоподвижных отрядов Махно, которые за сутки совершали переходы по сто и более верст, надо действовать такими же небольшими подвижными группами. К подобной мысли пришел и командующий войсками Украины и Крыма М. В. Фрунзе. Из частей 1-й Конармии создали «летучие отряды». Это сразу повысило эффективность боевых действий. Для борьбы с бандами были привлечены местные партийные и советские организации.
Продолжая вместе с другими частями вести бои против махновцев, 1-я Конная к весне 1921 года оказалась в трудном положении. Из-за недостатка фуража на Екатеринославщине, из-за вспыхнувшей эпидемии сапа начался массовый падеж коней. Семен Михайлович, обеспокоенный бедой, решил написать В. И. Ленину обстоятельное письмо, в котором рассказал о состоянии 1-й Конармии и просил передислоцировать ее в другое место. Через некоторое время его просьба была удовлетворена.
С переходом 1-й Конной на Дон и Кубань С. М. Буденный был назначен членом Реввоенсовета Северо-Кавказского военного округа. В 1923 году он, став помощником Главкома Вооруженных Сил по кавалерии и членом Реввоенсовета СССР, переехал в Москву. Семену Михайловичу думалось: теперь он будет часто встречаться с В. И. Лениным, который так хорошо относится к нему. Но мечте этой не довелось сбыться — Владимир Ильич тяжело заболел. И вскоре из заснеженных подмосковных Горок пришла скорбная весть: Владимир Ильич Ленин скончался.
Семен Михайлович не мог сдержать слез, когда утром 22 января 1924 года вместе с делегатами XI Всероссийского съезда Советов слушал сообщение М. И. Калинина об этом печальнейшем событии. Мучительно тяжелой для всей страны, для трудящихся всего мира была эта утрата. Словно во сне Семен Михайлович провожал гроб с телом вождя на специальном поезде из Горок в Москву. Затем от Павелецкого вокзала шел в скорбной процессии по морозным улицам Замоскворечья вдоль тысячных толп народа. Гроб с телом Ленина несли на руках руководители партии и правительства, московские рабочие, крестьяне Подмосковья, военные.
Его установили в Колонном зале среди темно-зеленых пальм, красных знамен с широкими траурными лентами, венков из живых цветов. Четверо суток без перерыва в несколько потоков текла человеческая река мимо гроба Ильича. Семен Михайлович видел, как люди часами стояли на трескучем морозе, чтобы войти сюда. Многие приходили в Колонный зал с детьми, чтобы и те взглянули в лицо Ильича, запомнили его на всю жизнь. На прилегающих к Дому Союзов улицах горели костры, возле них собирались озябшие люди. Сколько таких костров во время походов 1-й Конной Семену Михайловичу приходилось видеть, сколько раз присаживался к ним рядом с бойцами! Он и теперь подходил то к одному, то к другому костру и повсюду слышал трогательные слова о Ленине. И сам рассказывал об Ильиче, о его заботах о Красной Армии: Среди бесконечных толп людей, приехавших из разных мест, он видел многих в шинелях и буденовках — они занимались уже мирным трудом, но их одежда напоминала о недавних сражениях за Советскую власть.
Хоронили В. И. Ленина на Красной площади в воскресенье, в четыре часа дня. Залпы прощального салюта и траурные гудки московских заводов в минуту внесения гроба с телом Ильича в деревянный Мавзолей долго звучали в ушах Семена Михайловича…
Через несколько месяцев, в апреле 1924 года, С. М. Буденного назначили инспектором кавалерии Рабоче-Крестьянской Красной Армии. На этом посту он бессменно находился в течение тринадцати лет, отдавая все силы укреплению кавалерийских частей, реорганизации и созданию новых конных заводов, улучшению пород кавалерийских коней. Его часто можно было видеть во Всесоюзном научно-исследовательском институте коневодства и на зональных опытных станциях, в зоотехнических институтах.