Главными средствами, одобренными Совнаркомом 20 декабря 1917 года, которые Дзержинский и возглавляемая им ЧК должны были использовать для борьбы с контрреволюцией, были «захват собственности, переселение, лишение карточек, публикация списков врагов народа и т.д.» Тем не менее, главным оружием ЧК стал террор. Ленин не представлял себе масштабов оппозиции, с которой ему придется столкнуться после революции. Он быстро приходит к выводу, что «специальная система организованного насилия» должна быть создана для осуществления диктатуры пролетариата. В условиях классовой войны большевики не могли себе позволить ограничиться старыми понятиями «буржуазной» законности или морали. Ленин утверждал, что главной причиной поражения величайшего революционного восстания XIX века, Парижской Коммуны 1871 года, было то, что восставшие возлагали слишком много надежд на примирение и использовали слишком мало силы. Неспособность подавить буржуазию силой привело к краху. Ленин жестоко критиковал «предрассудки интеллигенции относительно смертной казни». Он считал, что у масс были более здоровые инстинкты. Уже в декабре 1917 года Ленин выступит за то, чтобы народные массы сами вершили свой суд («уличный суд») над «спекулянтами». Он всячески поощряет любые действия, в том числе и террор, направленные против «классовых врагов».
Не будучи по натуре жестоким человеком, Дзержинский, как и Ленин, буквально кипел от идеологической ненависти по отношению к классу, из которого он сам вышел. Он говорил своей жене, что воспитал себя так, чтобы «без всякой жалости» защищать революцию. Один из его ближайших соратников, Мартин Янович Лацис писал в газете ЧК «Красный террор»: «Мы не ведем войны против отдельных людей, мы уничтожаем буржуазию как класс. Во время расследования не ищите свидетельств, указывающих на то, что подсудимый делом или словом выступал против Советской власти. Первый вопрос, который вы должны задать: к какому классу он относится, каково его происхождение, каково его образование или профессия. Ответы на эти вопросы определят судьбу обвиняемого. В этом состоит значение и смысл красного террора.»
В то время как Дзержинский и его помощники прибегали к красному террору только как к объективно необходимому средству классовой борьбы, некоторые из простых членов ЧК, особенно на местах, наслаждались властью жестокости, не вдаваясь в высокие идеологические рассуждения. Яков Христофорович Петере, один из первых и наиболее выдающихся помощников Дзержинского, позднее признавал, что «многие нечестные элементы» пытались проникнуть в ЧК. Однако он не считал нужным добавить, что многим из них это удавалось. По жестокости ЧК можно сравнить со сталинским НКВД, хотя масштабы расправ были гораздо меньше.
Вплоть до лета 1918 года чинимый ЧК террор в какой-то мере смягчался деятельностью левых эсеров, на помощь которых большевики полагались на начальном этапе. В январе 1918 года, несмотря на возражения со стороны Ленина и Дзержинского, представители левых эсеров в Совнаркоме настояли на том, чтобы их партия была представлена в ЧК. Один из четырех левых эсеров, назначенных членами коллегии ЧК, Вячеслав Алексеевич Александрович, стал заместителем Дзержинского. В марте 1918 года после подписания мира с Германией в Брест-Литовске в знак протеста левые эсеры вышли из Совнаркома. Партия большевиков изменила свое название на Коммунистическую. С тех пор в состав Совнаркома входили исключительно коммунисты, а правительство большевиков переехало в новую столицу — из Петрограда в Москву. Несмотря на то, что левые эсеры вышли из правительства, они все еще оставались в составе ЧК. Дело в том, что, по утверждению самих левых эсеров, Дзержинский просил их остаться, убеждая их лидера Марию Спиридонову, что без их поддержки более не сможет «держать в узде жаждущих крови чекистов». Пока левые эсеры оставались в составе ЧК, за политические преступления не расстреливали. Дзержинский безгранично доверял своему заместителю левому эсеру Александровичу. Переехав в Москву, он передал ему всю полноту власти по решению каждодневных административных вопросов, а сам сконцентрировал свои силы на оперативной работе.
Штаб ЧК находился в Москве, на улице Большая Лубянка, в доме номер 11, который ранее занимала страховая компания «Якорь» и лондонская фирма «Ллойд» (позднее ЧК переехала в дом номер 2, в котором находилась российская страховая компания «Россия»). Теперь главное здание КГБ находится на улице, носящей имя Дзержинского. Те, кого Дзержинский называл «жаждущими крови» чекистами, в скором времени оказались и в Москве. Одной из первых жертв чекистского террора в Москве был известный цирковой клоун Бим-Бом, который часто позволял себе смеяться над коммунистами. Как и в КГБ, в ЧК плохо понимали такой юмор и считали его идеологической провокацией. Когда во время представления к Бим-Бому подошли чекисты с каменными лицами, зрители подумали, что это лишь часть общего представления, однако их смех вскоре сменился на панику, когда они услышали выстрелы, — чекисты открыли огонь по Бим-Бому, который пытался бежать.
Помимо террора, в борьбе против контрреволюции ЧК часто прибегала к внедрению агентов. Хотя Дзержинский выступал против царских методов использования агентов-провокаторов, он очень быстро сам стал настоящим специалистом в этой области. Согласно официальным советским источникам, к началу 1918 года чекисты «регулярно предпринимали такие опасные операции», как внедрение агентов. «Обстановка напряженной классовой борьбы требовала быстрых действий по раскрытию гнезд контрреволюции. Любой неосторожный шаг мог стоить чекистам жизни, но мужество и преданность были их врожденными качествами.» Согласно источникам КГБ, первым значительным успехом ЧК по внедрению своих агентов была операция против организации, которая находилась в Петрограде и называлась «Союз по борьбе с большевиками и отправке войск (генералу) Каледину». Чекист по имени Голубев, выдавая себя за бывшего офицера царской армии, «смог быстро проникнуть в „Союз“, разоблачить многих членов белогвардейского подполья и выявить места их тайных встреч». В течение января-февраля весь «Союз», насчитывающий около четырех тысяч человек, «был разоблачен чекистами и полностью обезврежен с помощью красногвардейцев». Значительно усовершенствованные террор и техника внедрения агентов, самые эффективные методы борьбы ЧК против врагов большевиков, заложили основу для двух наиболее выдающихся достижений сталинского НКВД: самого страшного в истории Европы террора в мирное время и самого широкого проникновения разведывательной агентуры в правительственный аппарат зарубежных стран. Вместе с тем значительное расширение террора и операций по внедрению агентов наблюдалось уже во время Гражданской войны 1918—20 гг.
В условиях полного хаоса жизнь молодого Советского государства находилась под постоянной угрозой. В результате Октябрьской революции и ее последствий большевики смогли сохранить контроль только над Петроградом, Москвой и несколькими прилегающими к ней районами в радиусе примерно 500 километров (в основном к востоку и, в меньшей степени, к югу) от Москвы. Остальная же территория России находилась в полном хаосе. Роспуск демократически избранного Учредительного собрания лишил большевиков, во всяком случае в глазах всего мира, оснований для утверждения о том, что они являются законным правительством России. Их проблемы усугублялись и драконовским мирным соглашением, которого требовала Германия, а Ленин, в свою очередь, настаивал на том, что у Советской России нет другого выбора, как подписать его. «Если вы не готовы ползти на животе по грязи, вы не настоящий революционер, а болтун», — говорил Ленин тем большевистским руководителям, которые сомневались в правильности принятого решения, в том числе и Дзержинскому. По условиям мирного договора, подписанного в Брест-Литовске 3 марта 1918 года (потерявшего силу восемь месяцев спустя, когда армия Антанты одержала победу на западном фронте) большевики должны были согласиться с разделом Западной России. В мае в Сибири начался мятеж чехословацкого корпуса, сформированного бывшей царской армией. Это восстание ознаменовало начало гражданской войны, которая продолжалась два с половиной года. К июлю на территории бывшей царской империи насчитывалось уже восемнадцать правительств, выступающих против большевиков. Признаваемый только германскими захватчиками (пока, в свою очередь, они сами не оказались в положении побежденных в ноябре того же года), советский режим оказался международным изгоем. Многие дипломаты стран Антанты были захвачены войной в Советской России. Летом 1918 года они начали вступать в контакт с врагами большевиков, а правительства Великобритании, Франции, США и Японии предприняли военную интервенцию.