Mais avec les hérétiques déclarés, cette politique conciliante n'était pas de mise. Le pape peut encore admettre que l'on condamne l'Église militante, non le dogme. Il est d'ailleurs presque aussi sévère envers les vaudois qu'envers les cathares.
Il envoie donc des prédicateurs. Ce sont, en premier lieu, les légats eux-mêmes. Ce sont des hommes à la foi éprouvée, moines cisterciens, membres de l'ordre réformé par saint Bernard; cet ordre représentait, dans l'Église, le parti de l'austérité, de la réforme des mœurs et de la discipline, le parti de l'intransigeance, la force agissante de l'Église. Les légats agissent, comme nous l'avons vu, mais ils cherchent aussi à convaincre: dans ce pays qui échappe à l'Église, les ministres plénipotentiaires du pape sont réduits au rôle de prédicateurs, et de prédicateurs mal écoutés.
Ils procèdent d'abord par la menace, mais depuis longtemps les menaces n'agissent plus. Ils se lancent alors dans la bagarre et, forcés de reconnaître ainsi le droit à l'existence de leurs adversaires honnis, les convient à des conférences pour discuter avec eux d'égaux à égaux.
Nous avons déjà évoqué la figure de Pierre de Castelnau, archidiacre de Maguelonne, moine à l'abbaye cistercienne de Fontfroide. Il avait pour compagnon Frère Raoul, de Fontfroide également. Enfin, pour donner plus d'autorité à leur mission, le pape leur a adjoint pour chef et compagnon l'abbé de Cîteaux lui-même, général de l'ordre et, de ce fait, une des premières personnalités de l'Église. Arnaud-Amaury, cousin des vicomtes de Narbonne, d'abord abbé de Grandselve, un des grands monastères cisterciens du Languedoc, était un homme du pays, et d'autant plus zélé à combattre l'hérésie qu'il la connaissait de près.
Comment un ordre raffermi par saint Bernard dans les pures traditions de l'austérité, de l'obéissance et de la prière a-t-il pu se choisir pour chef ce batailleur né, cet homme des mesures extrêmes, ce passionné aussi éloigné de la charité chrétienne qu'on peut l'être? S'il n'avait pas les vertus évangéliques capables de ramener à l'Église les brebis égarées, du moins sut-il organiser une grande campagne de prédication. Mais quel que fût leur zèle apostolique, que pouvaient ces moines déjà d'avance suspects au peuple, là où saint Bernard lui-même avait échoué?
Les légats mettent donc en jeu leur autorité personnelle. Les débats qu'ils organisent ont un succès considérable; pour exciter encore davantage l'intérêt des auditeurs, ils décident de faire choisir dans chaque ville où ils vont prêcher un jury composé d'arbitres chargé de décider de la valeur des arguments des deux partis. De détenteurs officiels de la vérité absolue, ils descendent au rang des modestes prédicateurs, obligés de convaincre et de prouver par des raisonnements l'excellence de leur doctrine. Le jury, composé moitié de catholiques, moitié d'hérétiques, a (en principe) le droit de leur donner tort et de donner la palme à leurs adversaires. Ils prétendent triompher par la seule vérité de l'orthodoxie.
En 1204, Pierre de Castelnau et Frère Raoul tiennent une de ces grandes conférences publiques à Carcassonne, en présence du très catholique Pierre II d'Aragon. Treize catholiques et treize cathares sont pris pour arbitres. Bernard de Simorre, évêque cathare de Carcassonne, prêche ouvertement et expose la doctrine de son Église. Si la présence du roi semble avoir fait pencher la balance en faveur des légats, il n'y eut pas de conversions. Ni Pierre de Castelnau ni Arnaud-Amaury ne devaient se faire beaucoup d'illusions: leur propagande attirait une foule de curieux, les gens du Midi étant grands amateurs de joutes oratoires, mais leurs discours ne parvenaient à convaincre que les catholiques; pour les hérétiques, ils restaient lettre morte.
Ces conférences n'exaspéraient même pas les passions populaires: il ne semble pas qu'elles aient donné prétexte à des bagarres entre partisans des deux religions. Les catholiques de ce pays-là manquaient décidément d'esprit combatif. Bien plus: les missionnaires du pape, entourés d'une brillante escorte, avec leurs superbes montures, leurs riches attelages portant leurs bagages et leurs provisions, faisaient un fâcheux contraste avec l'austère simplicité des ministres cathares. "Voyez, disait-on, les ministres à cheval d'un Dieu qui n'allait qu'à pied, les missionnaires riches d'un Dieu pauvre, les envoyés comblés d'honneurs d'un Dieu humble et méprisé43".
Cette mission d'avance condamnée à l'échec allait recevoir un secours inattendu en la personne de religieux espagnols qui, brûlant d'un zèle apostolique, revenaient de Rome, où le pape venait de leur refuser la permission de se rendre en Russie méridionale pour évangéliser les païens coumans. Sans doute, Innocent III pensait-il que ces aspirants missionnaires seraient mieux employés dans le Languedoc. En août 1205, les légats rencontrent à Montpellier l'évêque d'Osma, don Diego de Acebes, accompagné du sous-prieur de son chapitre, Dominique de Guzman. Le vieil évêque et son encore jeune compagnon (Dominique avait 35 ans à l'époque) offrent aux légats leur concours dans la lutte contre l'hérésie. Ils font mieux, ils leur donnent des conseils pratiques. Le conseil venait peut-être un peu tard, mais il était excellent en soi: les missionnaires espagnols conseillent aux légats et à leurs envoyés de descendre de cheval, de renoncer à leur escorte, de ne plus se faire recevoir et loger avec les honneurs dus à leur rang, mais d'aller à pied, de vivre d'aumônes, de ne garder comme signe de leur dignité que leur habit de moine, comme provisions de route que leur livre d'Heures et les ouvrages indispensables à la controverse.
Ceux qui avaient déjà vu l'abbé de Cîteaux entouré des honneurs dus à un prince de l'Église ont pu être étonnés de le voir changer de costume et l'accuser, non sans raison, d'être un "loup déguisé en agneau", car les missionnaires cathares n'avaient attendu les conseils de personne pour pratiquer la pauvreté. De la part du légat et des douze abbés qu'il avait ramenés en 1207 après réunion du chapitre de l'ordre, une telle attitude n'était réellement qu'un habile moyen de propagande: on verra plus tard qu'Arnaud-Amaury n'avait pas le moindre penchant pour l'humilité ni la pauvreté. Il n'en était pas de même pour les religieux espagnols.
Canonisé treize ans après sa mort, Dominique de Guzman jouissait déjà de son vivant d'une réputation de sainteté. Les renseignements que nous possédons sur sa vie nous ont été transmis par des disciples enthousiastes, donc enclins à exagérer les mérites de leur héros; mais il est certain que, dès sa jeunesse, Dominique avait dû impressionner ses frères et ses supérieurs par l'ardeur de sa foi et la vigueur de son intelligence. Avec son futur évêque, Diego de Acebes, il prend une part active à la réforme de l'office canonial dans son diocèse; en 1201, il est nommé prieur et chef du chapitre.
Nous avons vu qu'il rêvait de convertir à Dieu les âmes des païens, et que, seul, l'ordre formel du pape l'avait détourné de cette entreprise pour faire de lui le missionnaire des hérétiques. Certes, l'Église ne manquait pas de prédicateurs ardents, mais l'action de Dominique fut la seule à conduire à des résultats pratiques. Comme le dit Guillaume de Puylaurens: "Il a fallu que l'hérésie se manifestât dans notre temps et dans notre pays, afin d'y faire naître l'ordre vénéré des dominicains, qui a porté des fruits si abondants et si utiles, moins encore chez nous que dans l'univers entier44".