Одновременно с Чернышевским в Секретном доме томился Н. В. Шелгунов — видный русский публицист, революционный демократ, соратник Чернышевского. Он оставался в Секретном доме и после отправки Чернышевского в Сибирь. Всего Шелгунов пробыл в крепости год и восемь месяцев.
В 1882―1884 годах узниками Секретного дома были члены партии «Народная воля», судившиеся по «процессу 20-ти», — А. Д. Михайлов, М. Ф. Фроленко, А. И. Баранников, Н. Н. Колодкевич и другие. За это время семеро из них умерли в тюрьме.
Секретный дом представлял собой каменное одноэтажное треугольной формы здание. В нем насчитывалось 26 камер, из них 20 — для одиночного заключения.
Стены камер были выбелены известью. В камере стояла кровать с тюфяком и «госпитальным одеялом». Возле кровати — столик с кружкой воды. На кружке были вырезаны буквы АР (начальные буквы названия равелина). Освещал камеру ночник, сильно коптивший. В одном из углов камеры помещалась параша. Камеры отапливались печами с топкой из коридора.
Подробное описание Секретного дома оставили в своих воспоминаниях его бывшие узники — народовольцы П. С. Поливанов и М. Ф. Фроленко.
«Стены поразили меня своим оригинальным видом, — писал П. С. Поливанов, — на протяжении аршин двух от пола они были окрашены в черный цвет какой-то особой краской, не то обиты черными мохнатыми обоями, а выше они были столь обычного в казенных зданиях бледно-бланжевого цвета с узеньким красным бордюром под потолком. Когда я подошел к стене, то, к удивлению своему, убедился, что это была не краска и не обои, а просто плесень, насевшая таким густым слоем, что я уверился в этом, только ощупав стену руками».
Описание камеры, которое дает М. Ф. Фроленко, во многом перекликается с картиной, нарисованной П. С. Поливановым: «Потолок, стены, когда-то выкрашенные в желтоватый цвет, покрылись сероватым налетом пыли и паутины. Паутина виднелась также во всех углах. Нижняя часть стены аршина на полтора облезла: штукатурка от сырости превращалась постепенно, как видно, в известковый пух».
Так же, как в казематах, тюрьме Трубецкого бастиона, в Секретном доме тоже господствовали молчание и тишина. Стража ходила по коридору вдоль камер в мягких туфлях. Заключенным запрещалось перестукиваться, переговариваться между собой и разговаривать со стражей.
Переписка с родными была по сути дела запрещена. Разрешение на нее давалось в редких случаях только самим царем.
Декабрист А. П. Беляев писал в своих воспоминаниях: «То полное заключение, какому мы сначала подвергались в крепости, хуже казни. Страшно подумать теперь об этом заключении! Куда деваться без всякого занятия со своими мыслями. Воображение работает страшно. Каких страшных, чудовищных помыслов и образов оно не представляло! Куда не уносились мысли, о чем не передумал ум, а затем все еще оставалась целая бездна, которую надо было чем-нибудь наполнить!»
Царское правительство «заботилось», чтобы находящийся в одиночной камере был полностью изолирован от всяких внешних впечатлений. Каждый день узника являлся точной копией других таких же дней. Особенно угнетало отсутствие какой-либо умственной или физической работы.
За соблюдением режима строго следил смотритель Секретного дома М. Соколов, которого заключенные называли Иродом. Этот жестокий палач служил царю не за страх, а за совесть. Он проводил в тюрьме дни и ночи. Не доверяя никому из тюремной стражи, Ирод всегда присутствовал при утренней уборке камер, следил за жандармами и узниками при раздаче пищи. И на прогулке каждый заключенный и стражники находились под его наблюдением. Ирод находился в камере при посещении больных врачом, он же наблюдал за выносом трупа умершего из тюрьмы.
М. В. Буташевич-Петрашевский, с большим достоинством державшийся на следствии, в своем первом же показании с возмущением рассказал об условиях заключения узников в Секретном доме: «Более месяца тому назад я был арестован. Причина моего арестования мне не объявлена. Ночью того же дня привезен в крепость и не как лицо, а как вещь казенная, сдан под расписку смотрителю каземата. Как вещь — ибо с тех пор именуют меня не по имени или фамилии, но № 1. Отведя в каземат, от меня отбирают одежду, дают халат. Со мною поступлено, как с вором и разбойником… как со злодеем, совершившим тяжкое преступление.
…Мертвое молчание кругом, безответность сторожей, еле слышный бой часов на Петропавловском соборе — вот развлечение. Полумрак и холод — вот удобства помещения… По ночам отмыкаются и запираются двери казематов, в отдалении слышу шаги арестантов, ведомых к допросу…»