Le Reichsführer S.S. Heinrich Himmler est pourtant, théoriquement, un subordonné de Rœhm. Il ne manque jamais, à chaque anniversaire, de répéter à son chef son allégeance.
« Comme soldat et ami, je te souhaite tout ce qu'on peut promettre dans l'obéissance, écrit Himmler à Rœhm. C'était et c'est toujours notre plus grande fierté d'appartenir à ta suite la plus fidèle ».
Mais l'allégeance c'est aussi la garantie de la jalousie et de l'ambition.
Or, Himmler monte vite, ses S.S., aux uniformes noirs, à la tête de mort comme emblème, sont des troupes triées sur le volet. N'entre pas qui veut dans les S.S., la discipline y est stricte. Les S.S. parlent peu, ils agissent, dit-on à Berlin. Ils laissent la rue, et les fanfaronnades aux S.A. Eux, ils sont la cuirasse dure, impénétrable qui protège le parti. Chaque chef nazi a sa garde S.S. qui porte, sur la manche de son uniforme, brodé en lettres blanches, le nom du dirigeant qu'elle protège. Les miliciens noirs sont donc des soldats d'élite, des seigneurs de l'ombre dont la puissance réelle s'accroît, discrète et efficace. Ils sont les puritains du parti. C'est le Reichsführer Himmler lui-même qui les opposera aux Sections d'Assaut : « La S.A. c'est la troupe, dira-t-il, la S.S. c'est la garde. Il y a toujours eu une garde. Les Perses en ont eu une, et les Grecs, et César, et Napoléon, et le vieux Fritz. La garde de la Nouvelle Allemagne, c'est la S.S. »
De plus, Himmler, froid, réaliste, sachant le rôle de la police, ajoute à la direction des S.S. la présidence de la police politique de Bavière (Bay-PoPo). Il a trouvé un complice, un ancien officier de marine révoqué au profil d'oiseau de proie, au corps d'athlète, au visage long, au nez busqué, Reinhardt Tristan Eugen Heydrich. Ce séducteur glacé a vu sa carrière militaire brisée par une affaire de femmes. Traduit devant un jury d'honneur par l'amiral Raeder, ses déclarations, qui mettent en cause une ancienne maîtresse, sont à ce point dénuées du sens de l'honneur que le jury d'officiers de marine prononce une sanction sans équivoque : « mise à pied immédiate pour cause d'indignité ». Il ne reste plus à Heydrich qu'à entrer dans les S.A. Le 14 juin 1931, il rencontre le Reichsführer S.S. Himmler. Bientôt, le 5 octobre, Heydrich fait partie de l'Etat-major S.S. : il est Sturmführer chargé de mettre sur pied un service de renseignements. Heydrich va faire merveille : calculateur, précis, dissimulé, il monte le Sicherheitsdienst — S.D. —. Heydrich est comme le dit Himmler « un agent de renseignement né, un cerveau qui sait démêler tous les fils et les nouer là où il faut ». Heydrich veut tout surveiller, tout contrôler, tout espionner. Son ambition est de faire du S.D. le service de renseignements tout-puissant du Parti nazi. Il va y réussir.
Partout, dans les différents Länder, Himmler l'idéologue, Heydrich le technicien, tissent la toile de la police secrète, au service de Hitler — et à leur service — et doublent les organismes et les fonctionnaires officiels. Bientôt dans toute l'Allemagne, sauf en Prusse, Himmler et Heydrich contrôlent la police secrète.
Et Gœring choisit de s'allier à eux, Budolf Diels prend peur : il a heurté de front l'Ordre noir, le voici désavoué. Connaissant les méthodes expéditives des S.S., il s'enfuit à Karlsbad. Pourtant ce n'est pas encore la fin de la puissance policière de Gœring : il lutte pied à pied. Diels peut revenir, être autorisé par décret du 9 novembre 1933 à porter l'uniforme de Standartenführer S.S., preuve qu'un accord est intervenu et que le passé est oublié.
Mais le combat sourd et souterrain se poursuit. Heydrich continue son travail de rongeur et d'organisateur. Il a l'appui du ministre de l'Intérieur du Reich Wilhelm Frick qui lutte pour que toutes les polices des Länder, les provinces allemandes, soient unifiées. Et Gœring peu à peu cède du terrain, car il a besoin de Heydrich et de Himmler et de l'Ordre noir pour combattre les S.A. de Rœhm, chaque jour plus remuants, chaque jour plus nombreux, défilant dans les villes en colonnes sombres, précédées de tambours et de fanfares et réclamant à grands cris la poursuite de la révolution.
Au mois d'avril 1934, Himmler atteint son but : le 10 avril, il visite en compagnie de Heydrich et de Gœring le 8 de la Prinz-Albrecht-Strasse, le siège de la Gestapo. Il vient d'obtenir le contrôle de la police secrète de Prusse. Rudolf Diels a été renvoyé et nommé « Regierungspräsident » à Cologne. Quelques jours plus tard, le 20 avril, le couple Himmler-Heydrich contrôle toute la police secrète d'Allemagne et aussi les compagnies noires, les hommes implacables, les S.S.
Heydrich et Himmler se sont partagé les rôles : le Reichsführer est chef et inspecteur de la police secrète d'Etat (Gestapo) , Heydrich représente le Reichsführer et dirige le Geheime Staatspolizeiamt, administration de la Gestapo ou Gestapa. Heydrich demeure chef du S.D. (Sicherheitsdienst) qui devient, officiellement, le service de renseignements du Parti. Désormais, Himmler et Heydrich dirigent les forces de l'ombre qui « tiennent » le Parti et l'Allemagne. Le lendemain même de leur intronisation, la National-Zeitung dans un éditorial signé simplement des deux initiales H.O., révèle quelques-unes des intentions des deux chefs S.S. :
« La répression se fera désormais plus dure », écrit la National-Zeitung. Et pour bien indiquer que les S.A. aussi sont désormais visés, le journal poursuit : « Par ennemis de l'Etat il ne faut nullement entendre uniquement les agents et les agitateurs bolcheviques, par ennemis de l'Etat il faut entendre tous ceux qui, par la parole ou l'action, quels que soient leurs motifs, compromettent l'existence du Reich ».
Le journaliste ajoute, s'en prenant à la clémence supposée des mois qui viennent de s'écouler : « Depuis la fin de la révolution, l'ennemi politique ne court plus de risques. Dans les premières semaines, il y a eu des actions brutales : aujourd'hui, ceux qui font de l'agitation, du dénigrement, les saboteurs et les calomniateurs sont exposés tout au plus à être internés préventivement pour une durée plus ou moins longue dans un camp de concentration. Cette détention a des formes qui ne sont pas totalement effrayantes, mais cela va changer maintenant Nous ne torturerons et ne tourmenterons personne, mais nous les fusillerons et tout d'abord les communistes. »
Sur tous les perturbateurs plane ainsi la menace du peloton d'exécution. Aux S.A. de réfléchir. Gœring doit se féliciter d'avoir choisi l'alliance avec le Reichsführer S.S. A Nuremberg, face aux juges alliés avec sa morgue et son intelligence, il expliquera comment il avait réagi en cet avril 1934 à la décision du Führer de confier à Himmler et à Heydrich la direction de la Gestapo. « A cette époque, explique-t-il, je ne me suis pas expressément opposé à ce principe. Cela m'était désagréable car je voulais diriger ma police secrète moi-même. Mais, quand le Führer me demanda d'accepter, disant que c'était la voie correcte, qu'il était nécessaire que la lutte contre les ennemis de l'Etat fût menée d'une manière uniforme sur toute l'étendue du Reich, je remis la police entre les mains de Himmler qui plaça Heydrich à sa tête. »
Ainsi Himmler est parvenu à ses fins et Rœhm va devoir aussi compter avec ce subordonné dont la puissance est désormais secrète et immense, étendant ses rets sur toute l'Allemagne. Gœring qui s'est incliné, qui sait avoir en Himmler un allié contre Rœhm ne s'en méfie pas moins. Il crée rapidement une nouvelle police personnelle, nouvelle garde prétorienne, la Landespolizeigruppe, qui va prendre ses quartiers près de Berlin à Lichterfelde.