Чиновничья карьера Гёрделера закончилась в 1936 году вскоре после того, как он был назначен бургомистром Лейпцига на очередной двенадцатилетний срок. Нацисты оказывали ему достаточно сильное противодействие, и, возможно, он не был бы переназначен, если бы не тот факт, что им не хотелось раздувать проблему накануне проведения в Берлине Олимпийских игр. Тем не менее бургомистром он пробыл лишь недолгое время. Нацистская партия настаивала на сносе памятника немецкому композитору, еврею по национальности, Мендельсону, который главные годы своей жизни провел в Лейпциге. Гёрделер отказал. Но во время его отсутствия в городе нацистские штурмовики все же убрали памятник. Когда Гёрделер по возвращении узнал об этом, он сразу же подал в отставку. Вполне возможно, что этот инцидент стал поворотной точкой в его карьере. С этого момента и до самой смерти он посвятил себя свержению нацистского режима.
В 1937 году Гёрделер посетил Соединенные Штаты и Англию. Он приехал в Америку, чтобы предупредить о намерениях нацистов и понять, может ли антинацистское движение в Германии рассчитывать на какую-то поддержку. В Вашингтоне он встречался с рядом правительственных чиновников, известными общественными деятелями и наиболее видными немецкими беженцами. Гёрделер пытался убедить народ этой страны, так же как и народ Англии, что в Германии есть противники нацизма.
Во время своего пребывания там он написал политическое завещание, которое предполагалось опубликовать только с его согласия или в случае его смерти. Гёрделер хорошо понимал, что, возможно, его дни сочтены. Завещание представляет собой обвинительный акт в отношении действий, политики и намерений нацистов и заканчивается анализом причин, которые, по мнению Гёрделера, вынудят нацистов «повернуть против самой христианской веры, если они хотят остаться у власти. Борьба с отдельными церквями является лишь подготовкой и прикрытием для настоящей борьбы. И это будет борьба против христианства как такового».
Несмотря на то что Гёрделер сознавал опасность нацизма, он сильно преувеличивал численность и влияние противостоящих ему незначительных антинацистских сил Германии. В силу присущего ему по характеру оптимизма Гёрделер часто принимал планы за реальность, а намерения за свершившиеся факты. Будучи революционером, он, вероятно по наивности, слишком полагался на способность других людей к действиям. Как и генерал Бек, он надеялся и верил, что немецкий народ придет в себя прежде, чем будет слишком поздно. Вместе с тем Гёрделер был одним из немногих немцев, имевших зарубежные связи, видевших, на что направлена внешняя и внутренняя политика Германии, и имевших достаточно мужества, чтобы говорить об этом честно и открыто.
Гёрделера часто называют реакционером-романтиком, но его большое личное мужество и непоколебимое неприятие нацизма после 1936 года не вызывают сомнений. Он часто выглядел бесстрашным и неосторожным, навлекая на самого себя подозрения гестапо. Когда один генерал, которого Гёрделер пытался убедить, воспротивился на том основании, что Гёрделеру легко подталкивать других к действиям, за которые ему не придется платить, тот, по рассказам, тут же написал обвинение нацизму и призыв сбросить этот режим и вручил его генералу. «Я хочу, чтобы вы знали, — сказал он, — что я готов взять на себя всю полноту личной ответственности за свои действия и в этой борьбе рисковать своей жизнью». Гёрделер так и сделал, за что заплатил самую высокую цену.
В нацистской Германии телефоны прослушивались, почта просматривалась, и в каждом слуге, водителе такси и посыльном подозревали возможного нацистского агента. Все главные участники заговора в разговорах и в письмах пользовались кодовыми именами. Места встреч постоянно менялись. Обычно собрания организовывали в домах тех членов заговора, которые считались вызывавшими наименьшее подозрение у властей. В числе таких мест был дом профессора Йенсена в Берлин-Далеме, дом Йоханнеса Попица в том же пригороде и дом доктора Сигизмунда Лаутера, врача-католика, возглавлявшего крупный берлинский госпиталь Святой Гертруды. Считалось, что доктор, постоянно принимающий пациентов, — это отличное прикрытие. Когда к заговору примкнул заместитель начальника резервной армии генерал Ольбрихт, стали часто использовать его помещения в военном министерстве на Бендлерштрассе в Берлине. Встречи никогда не проводились без крайней необходимости.
Со временем круг заговорщиков расширился и, как в других подпольных движениях, стал применяться принцип «ячеек». Каждый вновь примкнувший знал имена лишь нескольких других заговорщиков. В Третьем рейхе невозможно было полагаться даже на самых благонамеренных, поскольку мало кто мог выдержать гестаповские методы получения информации. И даже самая маленькая и незначительная ячейка не была застрахована от проникновения гестапо.