Итак, в ноябре 1747 года Сомова казарма была переделана в караульную. Отметим, что в доношении сержанта указывается на «попрекания» со стороны московских обывателей. Думается, вряд ли офицеры, охранявшие колодников, обратили бы внимание на недовольство каких-нибудь приезжих крестьян или мелких купцов и судьи отдали бы из-за этого распоряжение освобождать от арестантов одну из казарм, когда и без того приказ испытывал острую нехватку в помещениях и время от времени вынужден был даже держать заключенных в канцелярских палатах. Скорее всего, «попрекания» высказывали влиятельные дворяне, которые уже не могли спокойно переносить ужасающий вид колодничьей казармы, из-за решеток которой высовывались страшные лица заключенных, просящих милостыню с «необыкновенным криком» и «угрозительными словами». Видимо, во второй половине 40-х годов XVIII века общественное мнение уже было готово добиваться удаления колодников подальше от центра Москвы, о чем свидетельствует и тот факт, что именно в это время было запрещено выводить колодников для прошения милостыни на связках (подробнее об этом речь пойдет ниже).
Третьего июля 1751 года судьи Сыскного приказа обратились в Сенат с доношением, в котором жаловались, что «приказ находитца… в самом тесном месте» и испытывает нужду в помещениях до такой степени, что «многие колодники содержатца в секретарской и подьяческой полатах, от чего не точию в летнее, но и в зимнее время бывает великая духота, к тому ж… и в произведении дел происходит не без помешательства». Члены приказного присутствия просили отдать в их распоряжение каменные помещения на Калужском житном дворе (в районе современной Калужской площади), которые ранее использовались Канцелярией ревизии душ мужского пола и в тот момент пустовали. 16 июля архитектору князю Дмитрию Ухтомскому было приказано осмотреть каменные постройки житного двора и оценить затраты на их ремонт[52]. Одновременно Московская сенатская контора намеревалась привести в порядок и помещения приказа на старом месте, для чего Ухтомский в мае 1752 года составил план реконструкции фасада зданий Сыскного приказа.
Неожиданно 13 августа 1752 года из Петербурга пришел сенатский указ, по которому Сыскному приказу предписывалось «в самой скорости перебраться на Калужский житный двор». Деревянные острог и казармы на Москворецкой улице следовало немедленно снести, а на новом месте построить. Причем в сенатском указе особо отмечалось, что возводить новый острог следовало в глубине житного двора так, чтобы «с проезжих улиц как острог, так и казармы не столько видны были». Указ заповедовал на будущее: «И впредь во обретающихся в Москве коллегиях, и канцеляриях, и канторах, которыя находятца в Кремле, колодников отнюдь держать не велеть, а для содержания отсылать в тот острог… И накрепко смотреть, чтоб в Кремле колодников отнюдь ни одного содержано не было».
Это мероприятие было тесно связано со строительными работами, которые происходили в Кремле. В 1749–1753 годах по указу Елизаветы Петровны там под руководством архитектора Растрелли была возведена новая императорская резиденция. В результате перестроек, которые претерпел кремлевский ансамбль в эти годы, Московская сенатская контора потеряла значительную часть своих старых помещений и была вынуждена подыскивать для себя новое место. В результате летом 1752 года было решено Московскую сенатскую контору перевести в помещения, занимаемые Вотчинной коллегией, Главным комиссариатом и Юстиц-коллегией. Комиссариатская контора переезжала в помещения Судного приказа, а тот, в свою очередь, должен был переместиться в апартаменты Сыскного приказа на современном Васильевском спуске. Параллельно с решением проблемы размещения государственных учреждений в Москве центр города очищался от многочисленных колодников.
Сенатская контора после получения указа из Петербурга быстро приступила к воплощению его в жизнь. Уже 24 августа присутствие Сыскного приказа было вместе с делами переведено на Калужский житный двор. Что же касается колодников, их было решено пока оставить в старом остроге на Москворецкой улице до тех пор, пока на житном дворе не будут отстроены новые острог и казармы.