Ёритомо восхищался такими качествами и требовал их от своих буси. Он осознавал, что для многих буси его времени было типично нарушать данные обязательства, не повиноваться начальству, переходить на сторону врага, меняя тем самым ход сражений и ставить материальные выгоды выше преданности. Ёритомо проявил огромную проницательность и завоевал расположение провинциальных буси. Но он никогда не рассчитывал на то, что буси будут ему верны только из моральных соображений; нет, он очень хорошо вознаграждал всех буси за достойную службу, присваивая своим воинам новые звания и подтверждая их права на землю, которой они уже владели.
Ёритомо избегал мобилизаций, он доверял только профессиональным воинам, выходцам из военных семей или членам избранных групп, состоящих в основном из потомков аристократических родов. Он очень хорошо понимал разницу между солдатом, мобилизованным на военную службу, и профессиональным бойцом; первый представлял собой лишь временного воина, вынужденного в силу обстоятельств подчиняться военной дисциплине, а второй посвящал своей профессии всю свою жизнь и добровольно подчинялся всем ее требованиям. Профессиональные воины сражаются, потому что это их привычка, выработанная жесткой дисциплиной; они представляют собой послушный инструмент и поэтому на него можно положиться при любых обстоятельствах.
Поскольку Ёритомо требовались буси самых лучших качеств, то он примирился с некоторыми из своих бывших врагов. Он принимал в свои ряды тех выдающихся вражеских воинов, которые после своего поражения клялись ему в верности, и в искренность которых он верил. Ёритомо признавал даже предательские действия, если они совершались в его интересах. Иида Горо Иэёси сражался против Ёритомо в битве при Исибасияма, но повернул против своего командира, как раз в то время, когда тот намеревался нанести Ёритомо решающий удар; Ёритомо наградил Иэёси и принял его в свои ряды. Но предательство ради награды вызывало у него ярость. Кирю Рокуро принес голову своего командира, Фудзивара Тосицуна, которого Ёритомо разыскивал, и попросил награду. Ёритомо отказал ему, объявив его поступок низким, а затем приказал обезглавить. Ёритомо настолько ценил истинную преданность, что когда Тайра Сигэхира был схвачен и доставлен к нему для вынесения приговора, то он освободил воина Тайра после того, как тот сказал, что скорее умрет, чем присоединиться к Ёритомо и тем самым предаст свой клан.
В то время как военные вожди прошлого, как правило, полагались только на буси своих собственных кланов и исключали из своих отрядов всех остальных, Ёритомо ценил и приветствовал услуги всех достойных людей, не задавая вопросов об их происхождении. Все преданные буси становились его непосредственными товарищами, абсолютно равными потомственным буси из его собственного клана. Он представлял себя вождем всех воинов, и тем самым завоевал доверие многих. Ёритомо имел полный военный контроль практически над всеми буси, он также имел абсолютную гражданскую власть: назначал и снимал чиновников своего бакуфу, жаловал земли и пр., подтверждал право воинов на владение землями, лишал воинов права собственности и предпринимал другие карательные действия, направленные против них, а также требовал от вассалов таких даров и услуг, какие он считал необходимыми для блага бакуфу. Ёритомо сохранял за собой право назначать избранных им буси должностными лицами, ответственными за сбор налогов и поддержание порядка. Он даже контролировал выбор женщин, на которых должны были жениться его буси.