Знакомство Канариса и Гейдриха, как уже говорилось, состоялось еще в 20-х годах, когда морской кадет Гейдрих считал своего командира образцом офицерской честности и благородства. Совсем иначе стал он относиться к Канарису после своего изгнания из флота, когда в короткое время стал руководителем элитной эсэсовской разведывательной службы СД, а Канарис возглавил абвер — конкурирующую разведывательную организацию.
Тогда Гейдрих начинает уделять самое пристальное внимание ведомству Канариса и лично самому адмиралу; он сосредоточивает у себя максимум самой разнообразной информации о них. Он стремится привлечь на свою сторону и лиц из его ближайшего окружения. Он нисколько не скрывал своего несогласия с деятельностью Канариса и считал его методы слишком «старомодными» и «косными» в сравнении с грубыми приемами эсэсовцев.
Разумеется, не оставался в долгу у Гейдриха и Канарис. Когда еще до войны в нейтральных странах проваливались агенты абвера, они заявляли, что были посланы гейдриховской «Зихерхайтсдинст». На гневные упреки Гейдриха Канарис отвечал, делая невинное лицо, что он действительно разрешал им это и что вообще считает выгодным, чтобы люди Гейдриха выдавали себя за агентов абвера и наоборот, ибо это введет в заблуждение иностранные контрразведки, и они не будут знать, кто, собственно, против них работает. Между ними возникли трения и в результате истории с генералом фон Фричем, когда Гейдрих действительно зарвался. Гейдрих добивался отстранения генерала фон Фрича, главы вермахта, на основании обвинения его в гомосексуализме. Это была скандальная ошибка, так как доказательства Гейдриха свидетельствовали против другого офицера, фон Фрича. Одна перевранная буква в донесении агента Гейдриха привела к тому, что одно лицо фигурировало вместо другого. Но Гейдрих уже не мог отступить: это могло не только подорвать его престиж, но и привести к его падению.
Канарис собрал важные улики против Гейдриха, но дело кончилось компромиссом: хотя фон Фрич был смещен, его «честь была восстановлена». Подобными компромиссами кончались и другие столкновения между Гейдрихом и Канарисом. Это давало многим основание подозревать, что оба знали друг о друге что-то такое, что позволяло им держать друг друга в руках. Гейдрих, который в иных случаях обычно грубо обрушивался на своих противников, не позволял себе этого по отношению к Канарису: может быть, Канарис что-нибудь знал об отдаленных еврейских предках, которых приписывали Гейдриху, или знал характер того преступления, из-за которого Гейдриха отчислили из флота? И не подозревал ли Гейдрих о связи Канариса с британской секретной службой?
Ясно одно: они вели друг против друга длительную, скрытую борьбу, и в этой борьбе медленно, но верно одерживал верх Гейдрих, более молодой и настойчивый, располагавший обширным, имеющим поддержку Гитлера аппаратом. Но их борьбу нельзя понимать только как личное соперничество и личную ненависть, хотя и они играли тут свою роль. Эта борьба была связана с закулисным соперничеством в нацистской верхушке, и прежде всего с попытками Гиммлера добиться абсолютного господства СС во внутренних делах Германии. Гейдрих поддерживал эти стремления и старался подчинить абвер Главному управлению имперской безопасности, что и произошло в конце концов в 1943 году, через год после смерти Гейдриха. И хотя это уже не могло укрепить позиций Гейдриха, зато укрепило позиции СС.
Гейдрих был одним из главных виновников вынужденного отступления Канариса на второй план и его дальнейшего падения. Интриги шефа службы безопасности беспокоили Канариса, он постоянно должен был быть начеку, постоянно должен быть готовым отражать атаки соперника. Иногда он впадал в меланхолию, испытывал чувство тревоги. Вальтер Шелленберг приводит в своих воспоминаниях слова Канариса, сказанные им в период наивысшего напряжения. Он доверил Шелленбергу свои опасения в связи с растущей агрессивностью Гейдриха и пожаловался:
«Шелленберг, всегда помните о доброте животных. Видите, как тактичен мой пес, и он никогда меня не предаст. Не могу этого сказать ни об одном другом живом существе».
У Канариса, разумеется, были причины опасаться Гейдриха и пессимистически расценивать результат их многолетних столкновений. Приведем только два примера из времен войны.