Главной задачей ДП было предупреждение и пресечение государственных преступлений и охрана общественной безопасности и порядка. В его ведении находились полицейские учреждения, жандармерия, все офицеры которой стали получать двойной оклад, сыскные отделения, адресные столы, пожарные команды. Первое время с начала создания ДП возглавляли очень умные и высокопрофессиональные руководители.
Общее руководство ДП и Отдельным корпусом жандармов (далее — ОКЖ) с 1882 года осуществлял заместитель Министра внутренних дел. Департамент состоял из Особого отдела, 9 делопроизводств и других структурных подразделений.
Третье секретное делопроизводство заведовало всеми делами политического розыска, надзором за политическими партиями и организациями, борьбой с ними, с массовыми движениями, руководством всей внутренней гласной и негласной и заграничной агентурой, охраной царя, «наружкой», отпуском средств на агентов.
С 1 января 1898 года розыскная деятельность Третьего делопроизводства была передана в Особый отдел. Он стал ведать внутренней и заграничной агентурой, вести негласное наблюдение за корреспонденцией подданных, высших сановников государства, членов императорской семьи, подозреваемых в нежелательных связях.
Особый отдел следил за политическим настроением всех слоев русского общества, за деятельностью политических партий, других организаций, вел регистрацию произведений нелегальной печати, ведал политическим сыском.
Первоначально Особый отдел состоял из 4-х отделений. На январь 1905 года распределение обязанностей между ними выглядело следующим образом: 1-е отделение руководило НН, 2-е — внутренней агентурой, 3-е осуществляло контроль над учебными заведениями и общественными организациями, в ведении 4-го отделения находились вопросы, связанные с военным шпионажем и государственной изменой, т. е. вопросы контрразведки.
4-е делопроизводство ДП наблюдало за ходом политического дознания в губернских жандармских управлениях (далее — ГЖУ), осуществляло надзор за рабочим и крестьянским движением, за легальными структурами самоуправления. 5-е делопроизводство ведало гласным и негласным надзором.
6-е делопроизводство следило за изготовлением, хранением и перевозкой взрывчатых веществ, фабрично-заводским законодательством и его выполнением, выдачей справок о политической благонадежности лицам, поступающим на государственную и земскую службу.
7-е делопроизводство дублировало 4-е. 8-е делопроизводство заведовало уголовным розыском и сыскным отделением. 9-е делопроизводство занималось контрразведкой и надзором за военнопленными. ДП имел гласную и негласную агентуру, особый денежный фонд, не подлежащий государственному контролю.
В 1902 году ДП предпринял определённые шаги по усилению в ГЖУ работы с секретной агентурой и издал циркуляр об организации при жандармских управлениях агентурно-наблюдательных пунктов.
С осени во многих городах были созданы розыскные пункты и охранные отделения. В таких условиях функции ГЖУ стали меняться и за ними остались, главным образом, обязанности по производству дознаний по политическим делам. Политический розыск переходит в охранные отделения.
ГЖУ во всех городах империи производили аресты, производили следствие по государственным и политическим делам. Жандармы боролись с массовым крестьянским и рабочим движением, осуществляли сыск революционных организаций, сопровождали особо опасных преступников, докладывали царю о настроениях в обществе. В России действовали 150 жандармских команд, жандармские полки в армии, лейб-гвардии жандармский полуэскадрон.
6 июля 1908 года был принят закон «Об организации сыскной части», которым официально учреждались сыскные отделения полиции во всех крупных губернских городах Российской империи. В уездах создавались сыскные отделения 4-х разрядов в зависимости от количества жителей города. В соответствии с разрядом определялась штатная численность сыскного отделения.
9 августа 1910 года вышла «Инструкция чинам сыскных отделений». В инструкции было отмечено, что «основной целью деятельности сыскных отделений является негласное расследование и производство дознаний в целях предупреждения и пресечения, раскрытия и преследования преступных деяний общеуголовного характера, путём систематического надзора преступными и порочными элементами, используя негласную агентуру и НН».