В основе организации якудза лежит традиционная для Японии мужская клановая организация: «отец — дети» и «старшие братья — младшие братья». Глава клана называется оябун (шеф) или кумите (старший начальник). Он — начальник всех и над всеми.
Далее в иерархии следуют сайко комон (старший советник), со-хомбуте (глава штаб-квартиры), вакагасира (второй человек, заместитель), фуку-хомбуте (помощник шефа). Все они командуют несколькими бандами, и их влияние определяется количеством подотчетных штыков. Если кумите погибает, один из подчиненных занимает его место. Также кумите подчиняются комон (советники), сингиин (консультанты), кумите хисе (секретари) и кайкэй (бухгалтеры).
Непосредственно банды состоят из старших бригадиров сятэй («младшие братья»), младших бригадиров вакасю («юнцы») и простых якудза. В каждую из них входит примерно от 20 до 200 человек. Соответственно, в клан могут входить десятки тысяч якудза. Такой клан может контролировать несколько городов.
Существуют и независимые банды, не входящие в кланы. Однако создать такую банду исключительно трудно — вся территория уже поделена. Одинокий же якудза выжить не может вообще.
При приеме в клан совершается обряд сакадзуки — шеф и новый член клана пьют из одной чашечки сакэ. Так они становятся членами одной семьи.
Для узнавания друг друга и отличения от толпы якудза часто носят значки с «даймон» — эмблемой, гербом клана. Якудза-руководители имеют право носить золотые даймон.
Они выступают за традиционные семейные ценности, за возвращение политики милитаризма, за возрождение самурайских традиций.
Для якудза очень важно разделение на якудза и катаги — «лохов», всех, кто не якудза. Поскольку якудза возводят свою историю к «защитникам справедливости», традиционные законы якудза запрещают убивать катаги. Все остальное (рэкет, шантаж, грабеж, изнасилование) разрешается. Также разрешается убивать катаги, угрожающих деятельности клана.
Разумеется, якудза разрешается убивать других якудза. В случае войн между кланами дело иногда доходит до использования тэпподама — киллеров-камикадзе.
В клан якудза не входят женщины. Якудза вообще не доверяют женщинам — они считают, что женщины должны сидеть дома и заботиться о семье. В клане уважают только жен кумите. Их называют «старшие сестры» (анэ-сан) и иногда с ними советуются, если кумите в тюрьме или в больнице. Прочие же женщины, особенно не связанные с якудза, считаются «подстилками», и обращаются с ними соответственно.
Самое главное для якудза — личная честь, считающаяся производной от чести клана. Якудза не переносят, когда их оскорбляют или унижают. За экзотическими исключениями, якудза никогда не признают ошибок и не оправдываются. Опозоривший себя якудза может быть приговорен к отрубанию фаланги пальца, смерти, изгнан из шайки и так далее. Молодым якудза предписывается ничего не желать для себя и работать только на благо клана.
Взаимопомощь и поддержка друг друга также считается очень важной. Если якудза попадает в тюрьму, весь клан пытается помочь ему освободиться. Прикрыть «коллегу» считается большой доблестью.
Кланы якудза с большими традициями любят изображать защитников обездоленных. Так Ямагутигуми, один из самых больших кланов со штаб-квартирой в Кобе, оказал родному городу большую помощь после землетрясения 1995 года.
Падение режима Токугава и начало реформ в европейском стиле подстегнуло развитие преступности. С одной стороны, такой традиционный бизнес как азартные игры пережил крах — с ними начали активно бороться. С другой стороны, расцвела мелкая и средняя торговля. В результате разрозненные группировки тэкия и бакуто (мати-екко к тому времени уже были расформированы) объединились и начали изменяться вместе со страной.
Особое значение для якудза имело введение демократических институтов. Политическая борьба стала идеальным поприщем для применения талантов якудза — обман, шантаж, подкуп и запугивание избирателей, даже заказные убийства — в обмен на всю эту помощь политики предоставили якудза относительную свободу действий.