Одним из первых сталинских сотрудников службы безопасности был армянин Аванесов. Бывший участник революции, он, после сыгранной им лидирующей роли в организации ЧК и личной охраны Ленина, сблизился со Свердловым. Но когда в 1919 году тот неожиданно умер (естественной смертью), Аванесов оказался не у дел и примкнул к Сталину. Поначалу Грузин нашел ему пост в Комиссариате по делам национальностей, однако позже сделал своим заместителем в другой купели кадров для будущей службы безопасности — рабоче-крестьянской инспекции, а также членом коллегии ВЧК. Несомненно, этот армянин добрался бы до самых вершин в системе безопасности, если бы в 1930 году не умер от туберкулеза.
Другим значительным шагом Сталина, предпринятым им после смерти Свердлова, было привлечение на свою сторону земляка Енукидзе, заменившего Аванесова на посту секретаря ВЦИК (Всероссийского Центрального исполнительного комитета). Как преемник Аванесова, Енукидзе также взял на себя негласное управление системой безопасности Кремля. Приблизительно в это же время Сталин заручился поддержкой старейшего члена ЧК Ивана Ксенофонтова. Будучи уже Генеральным секретарем партии, Грузин смог провести Ксенофонтова во ВЦИК. Ксенофонтов, о котором известно очень немногое, занимал также пост управляющего делами партии, однако в действительности он выполнял функции офицера связи между Сталиным и секретной службой. Этот в определенном смысле загадочный соратник Хозяина также мог пойти далеко в системе личной охраны диктатора, если бы и он не умер естественной смертью в 1926 году.
Механизмом, с помощью которого Сталин добивался и удерживал верховную власть, был партийный секретариат, который он возглавлял. Функции его секретариата очень сильно отличались от обычных. Конечно же, там занимались и административными делами, но самая главная задача этого органа в сталинский период заключалась в приобретении власти, для чего необходимо было собирать политическую информацию и находить способы влияния на нужных людей, а также формировать кадры для будущей службы безопасности. После смерти Ленина главной обязанностью секретариата стало удержание власти в руках Сталина. В результате чего ЧК и ее преемники уже с 1924 года стали утрачивать свое влияние. Сталинский секретариат и его столь же неправильно именуемые подразделения приняли на себя обязанности по уничтожению всех действующих и потенциальных оппонентов Сталина — вплоть до партийных иерархов и начальников службы безопасности. В итоге, несмотря на свое безобидное с виду название, секретариат превратился в помесь опричнины, Преображенских гвардейцев, Третьего отделения и «охранки». Кое-кто называл его тайным кабинетом Сталина, но он представлял из себя нечто значительно большее.
С уходом в другие структуры Аванесова и Ксенофонтова для курирования всех связей Сталин нуждался в преданных лакеях, способных возглавить секретариат. С этой целью он снова пересортировал свой Комиссариат по национальным делам, позаимствовав его секретаря Ивана Товстуху, ветерана революции и закаленного коммуниста. Официальные советские источники сообщают, что Товстуха работал в партийном аппарате с 1921 года; в 1926–1930 годах он был помощником директора Института Ленина, а после 1930 года — заместителем директора Института Маркса-Энгельса-Ленина. В действительности же на протяжении почти всего периода 1921–1930 годов он ведал организацией и управлением сталинского секретариата, а после 1924 года стал начальником секретного отдела секретариата — еще одного названия верхушки сталинской «охранки». Работа Товстухи в институтах являлась лишь прикрытием, не слишком отвлекавшим от основных обязанностей. Единственной помехой в его работе стал туберкулез, и в 1930 году Товстуху отправили в отставку. Но когда в 1935 году этот партийный функционер умер, важность его персоны и проделанной им работы были подчеркнуты тем фактом, что он был погребен у Кремлевской стены, а на похоронах присутствовало впечатляющее количество высших чинов секретариата, личной охраны Сталина и секретной службы.