Дзержинский был беспощаден к политическим противникам, не испытывал к ним ни жалости, ни снисхождения. Он лично занимался арестами и допросами, без суда и следствия решал судьбу людей, как это было в дни «красного террора». С одной стороны, он утверждал социалистическую (революционную) законность… с внесудебными полномочиями(!), с другой стороны — при необходимости руководствовался принципом «политической целесообразности».
Председатель ВЧК-ОГПУ целиком разделял политику высылок за границу и в отдаленные места страны не только деятелей оппозиционных политических партий, но и научно-технических специалистов, литераторов, писателей, поэтов, философов, историков и других представителей интеллектуальной элиты России. По поручению Политбюро ЦК РКП (б) он занимался ликвидацией меньшевистской, эсеровской и других политических партий социалистического направления, лично участвовал в определении меры наказания и режима содержания арестованных. То, что к 1925 г. на территории СССР не осталось ни одной политической партии, кроме большевистской, — результат деятельности и Дзержинского. Любые идейно-теоретические споры о путях социалистического строительства, всякое «особое мнение» в партии рассматривались им как враждебные выступления и прямая контрреволюция. Он активно помогал В.И. Ленину и И. В. Сталину во внутрипартийной борьбе и в расправе со своими политическими оппонентами.
Форсированное строительство социалистической экономики все больше требовало умелого использования труда буржуазных специалистов. Многие распоряжения председателя ОГПУ и ВСНХ свидетельствуют о необходимости согласованной работы чекистов с хозяйственниками и внимательном отношении к инженерно-техническому персоналу. Но с каждым годом все больше возрастает роль органов госбезопасности в качестве важнейшего инструмента хозяйственного строительства. Они осуществляют контроль и проверку исполнения решений высших советских и партийных органов.
Как правило, председатель ОГПУ нелегко соглашался на сужение функций и прав, а также сокращение сметы своего ведомства и по другим вопросам. Часто его оппонентами были М. И. Калинин, Н. И. Бухарин, Г. Я. Сокольников, Н. В. Крыленко, Н. В. Чичерин, Л.Д.Троцкий и др.
И все же многие рекомендации Дзержинского по карательной политике Советского государства заслуживают самого внимательного отношения к ним и сегодня: это и его призыв к сотрудникам соблюдать «величайшую осторожность в арестах и величайшую внимательность при ведении самого дела», требования большей гласности при рассмотрении дел, «не втихомолку вести дело», «убить систему, безответственность и беспечность руководителей», предложение применять решительные меры в отношении лиц, совершавших ложные доносы, ведение широкой профилактической работы с теми гражданами, которые совершали проступки без враждебного умысла.
Дзержинский постоянно подчеркивал необходимость улучшения форм и методов работы органов ВЧК-ОГПУ с учетом конкретных исторических условий. Под его руководством активно велась работа по совершенствованию права, укреплению законности, наметилась тенденция к сокращению и смягчению насильственных мер. Регламентирование деятельности всего госаппарата, перенесение центра тяжести в решении вопросов по охране интересов государства и прав граждан на судебные органы давало возможность защитить население от различных злоупотреблений нарождавшейся нэпмановской буржуазии, а предпринимателей — от произвола чиновников.
Стремление опереться на помощь населения, прежде всего на коммунистов, а также других, лояльно настроенных к новой власти граждан, было весьма характерным методом работы Дзержинского. По его рекомендациям применялись самые разнообразные формы связи с населением: обращения, выступления чекистов с отчетами и докладами, проведение беспартийных конференций, шефство, публикации в газетах и журналах о деятельности органов ВЧК-ОГПУ, коммунистическое осведомление, создание групп и бригад содействия, «чекизация» трудовых коллективов. Но масштабы этой работы зачастую превышали потребности спецслужб и зачастую вели к созданию нездоровой обстановки среди сотрудников учреждений, рабочих фабрик и заводов, красноармейцев и командиров.