Начав службу с мелкой полицейской должности, И. Путилин, благодаря настойчивости и трудолюбию, неутомимости и высоким нравственным качествам, быстро продвигался по служебной лестнице, получая отличия и награды. Спустя два года молодой полицейский был назначен старшим помощником квартального надзирателя, а усердие его отмечено бронзовой медалью на Андреевской ленте в память событий 1853–1856 годов.
Уже через три года после начала полицейской службы за отличие при поимке воров и убийц молодой сыщик был награжден орденом Св. Станислава 3-й степени, а в 1858 г. — И. Путилин стал уже квартальным надзирателем. В том же году, отличившись при поимке бежавших преступников, он награжден орденом Св. Анны 3-й степени, в 1859 г. за раскрытие серии преступлений, совершенных шайкой разбойников, — орденом Св. Станислава 2-й степени, а в 1861 году за исполнение особых поручений — орденом Св. Владимира 4-й степени. Имя его быстро стало известным среди коллег и населения. Бытовало мнение, что для Путилина ничего невозможного не существует.
В то время при расследовании сложных преступлений создавали специальные следственные комиссии, в состав которых включали самых подготовленных в профессиональном отношении людей. Как свидетельствуют документы, Иван Путилин в январе 1863 года был командирован в распоряжение Высочайше утвержденной под председательством статс-секретаря князя Голицына следственной комиссии, учрежденной по делу о злоупотреблениях при изготовлении и торговле золотыми и серебряными изделиями. В этой комиссии он проработал полгода. Начальство ценило в нем профессионализм и служебное рвение; горожане — стремление помочь в несчастье, а преступники выделяли из ряда других полицейских, отдавая должное его исключительной честности и порядочности.
В 1866 году было учреждено Управление сыскной полиции, и первым ее начальником стал И. Д. Путилин, к тому времени уже зарекомендовавший себя как блестящий сыщик.
Полицейским приходилось работать много и напряженно, как, впрочем, во все времена. «Дела было всегда много: кражи, грабежи, убийства следовали чуть не ежедневно. Работать приходилось без устали: производить дознание, розыск краденых вещей, делать облавы и т. п. Редкую ночь приходилось мне спокойно проспать до утра».
В один из дней был убит австрийский военный атташе. Это происшествие взбудоражило всю столицу. Полицейские чины нервничали, в ведомствах царило волнение, государь требовал ежечасного доклада о результатах расследования.
И. Путилин возглавил расследование, и подозреваемый был задержан. Однако великий сыщик не торопился с рапортом: «Подробности происшествия, все признаки, вместе взятые, убеждали меня, что тут работал не один человек, а несколько, друг другу помогавшие, и потому ограничиться заарестованием одного из подозреваемых в убийстве — это значило не выполнить всей задачи раскрытия преступления». Напряженная работа продолжалась, и вскоре были задержаны все участники преступления.
Австрийский император по достоинству оценил труд российского сыщика, наградив его командорским крестом ордена Франца Иосифа 3-й степени.
Иван Дмитриевич Путилин брался за самые сложные, порой безнадежные дела, был решителен настойчив, бесстрашен. «Испытывать страх, настоящий страх как-то мешала служба. Верьте, не верьте, но это так… Так торопишься и стараешься исполнить задуманное дело, что как-то и страх пропадает».
Он смело внедрялся в шайки сам или внедрял в них своих надежных людей, лично занимался сыском, который любил и которым владел в совершенстве, хладнокровно и самоотверженно преследовал преступников.
Каждое сложное дело мобилизовывало его на активный поиск. Однажды в Петербурге объявилась шайка, промышлявшая разбоями. Вся полиция была поднята на ноги, а результатов нет. «Я весь горел от этого дела, — вспоминал И. Д. Путилин, — потерял и сон, и аппетит… Я дал себе слово: разыскать их всех до одного, хотя бы с опасностью для своей жизни». Путилин лично занялся сыском, и все причастные к делу 20 человек были арестованы.
Опыт, знания, профессионализм Ивана Дмитриевича Путилина были незаменимы. К нему обращались при решении важных вопросов, связанных с преобразованиями и реформами. Известно, что в 1872 году он состоял членом комиссии, учрежденной под председательством Директора департамента исполнительной полиции, занимавшейся составлением правил полицейского надзора и вопросами административной высылке, в 1873 году — членом паспортной комиссии.