Эта оппозиция гражданских чиновников была немногочисленной и разрозненной. К ней примкнул и начальник криминальной полиции Артур Нёбе. Им необходима была поддержка армии. Людвиг Бек, глава Генштаба, попытался дать им эту поддержку, действуя вместе с бывшим обербургомистером Лейпцига Карлом Герделером, оставившим пост в 1935 году. Угроза Гитлера висела над Чехословакией, и это активизировало оппозицию, готовящуюся перейти к действиям.
Основным звеном сил сопротивления был абвер. Но сдержанный характер адмирала Канариса, стремившегося оставаться в тени, обрекал его на политическое бездействие. Однако рядом с ним работал помощник, начальник административного отдела абвера полковник Ганс Остер, человек решительный и не отягощенный сомнениями.
Полковник Остер стал одним из руководителей зреющего заговора. Высокий пост в военной разведке позволял ему располагать обширной информацией обо всем, что происходило в нацистской партии. Он, например, общался с антинацистским крылом нацистской партии, которое представлял Артур Нёбе с графом Хеллдорфом. У полковника Остера были друзья в Министерстве иностранных дел. Он был прекрасно образован, умен, обладал политическим чутьем, которого не хватало большинству заговорщиков.
Активную помощь заговорщикам при попустительстве Канариса оказывал подполковник Эрвин Арним фон Лахоусен, предоставивший им доступ к секретной информации.
Лахоусен, в прошлом помощник полковника Ронге, главы секретной службы в Вене, был завербован Канарисом в Вене. В Вене также работал немецкий разведчик-антинацист полковник Маронья-Редвитц (он будет в списке казненных 20 июля 1944 года), которого высоко ценил Канарис.
Канарис был хорошо осведомлен о нерешительности западных стран, но начал кампанию, призывавшую к войне, представив позиции Франции и Англии иначе, якобы выступавшими в поддержку Германии. Под влиянием главы абвера Бек и Герделер стали выступать против Чехословакии, полагая, что демократические страны поддержат Германию, которая пока не была готова к большой войне.
Заговор офицеров без поддержки армии был обречен на неудачу. Бек безуспешно пытался склонить на сторону заговорщиков генерала Вальтера Браухича, командующего наземными войсками. Генерал дал присягу верности Гитлеру и не мог поступить иначе. Возможно, причина состояла в том, что ему не хотелось нарушать идиллию своего предстоящего брака — невестой этого нибелунга из прусской провинции, его будущей второй женой, была фрау Шарлотта Шмидт.
Не преуспев с фон Браухичем, Бек решил пойти на скандал — он подал в отставку с поста главы Генштаба. Но скандала не получилось. Его тихо сняли и заменили, назначив Франца Гальдера. Это известие было опубликовано сразу после окончания Мюнхенской конференции. И этот поступок Бека скорее ослабил силы сопротивления.
Остер и в меньшей мере Канарис стали направлять движение Сопротивления. На обоих оказала большое влияние книга — «Техника государственных переворотов», — опубликованная в Париже в 1931 году и запрещенная в Германии; автором ее был Курцио Малапарте. Он проанализировал события двух неудавшихся путчей — одним руководил Капп (1920), другим Гитлер (1923). Уроки эти нельзя было не учитывать. Оба путча начинались в благоприятной обстановке — генералы переходили на сторону путчистов, как, например, командующий войсками в Берлине — Бранденбурге; как Эрвин фон Витцлебен, начальник гарнизона в Потсдаме; как Брокдорф-Ахлефельдт и его помощник граф Фридрих Вернер фон дер Шуленбург.
План заговорщиков был прост — арестовать фюрера до начала наступления на Чехословакию. Арест фюрера в соответствии с планом должен был быть впечатляющим — его должен был судить народный трибунал, основанный им же самим в целях защиты немецкого народа. Были разработаны до мельчайших подробностей все роли и ход процесса.
Главным на суде должно было стать мнение психиатров военного госпиталя Пасевалк, которые уже сотрудничали с полковником Остером, предоставив в его распоряжение медицинскую карту Гитлера. Заключение врачей на суде должно было неопровержимо доказать, что он сумасшедший и место ему в доме умалишенных. Все это способствовало бы победе демократических сил и устранению угрозы войны.