В этот период занятость работой на посту президента Корейской общины вынудила Со Нэйтю понемногу отойти от активных занятий и преподавания каратэ. Тем временем Ояма возглавил небольшое додзё в районе Огикубо, но дело у него почему-то не заладилось (полагают, что он просто еще не созрел, чтобы кого-то обучать каратэ), и приблизительно через полгода зал закрылся. После этого в жизни Оямы начался период уличных драк, когда он схватывался с хулиганами и с американской военной полицией.
Попав после очередной драки в тюрьму, Ояма крепко задумался над своим будущим. Именно в эти нелегкие для него дни ему и пришла в голову мысль, что он должен целиком посвятить себя каратэ. Выйдя на свободу, он тут же отправился в новое затворничество на гору Киёсуми в префектуре Тиба, где некогда жил знаменитый буддийский монах Нитирэн, и в течение 18 месяцев жил отшельником, сведя до минимума контакты с внешним миром и все время отдавая тренировкам.
Спустившись с горы Киёсуми, Ояма через некоторое время провел несколько демонстрационных боев с быками в Тиба и Татэяма и получил чрезвычайно широкую известность. Однако эти поединки с животными неожиданно для Оямы вызвали суровую критику со стороны каратистских кругов.
Эта критика еще более усилилась, когда в 1952 г. он впервые выехал в США в составе профессиональной демонстрационной группы бойцов, куда его пристроил Усидзима Тацукума, основатель профессионального дзюдо и учитель великого дзюдоиста Кимуры Масахико. В то же время эта поездка дала Ояме возможность оповестить о своем существовании весь мир, привлекла к его личности внимание многих тысяч людей как в Японии, так и за ее пределами.
В 50–е годы Ояму можно было застать в додзё Годзюкан в токийском районе Асакуса, где после войны обосновался легендарный «Кот» Ямагути. Именно там его обнаружил американец Джэй Глюк, приехавший в Японию для изучения боевых искусств после того, как посмотрел документальный фильм о поединках Оямы с быками. Из описания в его книге «Zen Combat» следует, что в 50–е гг. Ояма был помощником Ямагути Гогэна.
Известно также, что в 1956 г. газета «Токе майсэки симбун» («Токийская ежедневная вечерняя газета») организовала показательные выступления и демонстрационную схватку между Ямагути Гогэном и Оямой, «обладателем 7–го дана Годзю–рю». Запись о присвоении Ояме Масутацу звания кёси — «наставника» — и степени 7–й дан, датированная 1954 г., действительно имеется в Тетради фиксации сведений о присвоении мастерских степеней, и сделана она рукой самого Ямагути Гогэна.
Есть и другие свидетельства близости Оямы Ямагути Гогэну в этот период. Так, уже упоминавшийся Киндзё Хироси, к которому Ояма обратился с просьбой выступить комментатором его последнего боя с быком на стадионе Тадзоно–коросиаму в 1956 г., утверждает, что в проведении шоу Ояме помогали члены Годзюкай, а нынешний президент Всеяпонской ассоциации Годзюкай, сын Гогэна Ямагути Госи, которому в ту пору было 14 лет (род. 1942), лично вычищал газон стадиона перед демонстрацией.
Однако в том же 1956 г. Ояма Масутацу неожиданно порвал с Ямагути Гогэном, основал собственное додзё и начал пропагандировать собственный стиль каратэ. Что подвигло его на такой поступок, мы не знаем. Джэй Глюк в своей книге «Zen Combat» пишет, что Ояма постиг секрет круговых движений китайского ушу и потому расстался с «прямолинейным» Годзю–рю. Но, думается, что причины ухода Оямы были иными. Возможно, он решил, что может претендовать на большее, чем быть вторым номером при Ямагути. Достоверно известно лишь, что конфликт между Оямой и Ямагути был очень острым.
Как бы там ни было, уйдя от Ямагути, Ояма фактически порвал со всем миром каратэ, ведь для ортодоксально настроенных каратистов его поступок был ничем иным, как предательством по отношению к учителю. Хорошо известно, что многие представители японского каратэ и до этого неоднократно критиковали Ояму за нарушение писаных и неписаных норм каратэ-до — за чрезмерную жестокость, проявленную в убийствах быков, за получение денег за демонстрацию каратэ в США и т. д. Разрыв с Ямагути, похоже, переполнил чашу терпения и превратил Ояму в изгоя. Правда, позднее, когда школа Кёкусинкай набрала силу и превратилась в одну из крупнейших организаций каратэ в Японии, руководителям ведущих организаций при решении различных вопросов не раз приходилось садиться с ним за стол переговоров.