Накануне революции Ягода вошёл в состав военной организации при Петербургском комитете РСДРП(б) во главе с Н.И. Подвойским. Впоследствии вместе с Подвойским и А.И. Егоровым, будущим Маршалом Советского Союза, занимался вопросами организации Красной армии. Эта совместная работа также оказала определённое влияние в продвижении Ягоды по служебной лестнице.
В 1919 году Ягода — член коллегии Наркомата внешней торговли, в ведении которой непродолжительное время находилась и охрана границ в целях пресечения незаконного вывоза и ввоза ценностей и товаров. Затем эта функция перешла в ведение ВЧК. Некоторое время Ягода совмещал работу в Наркомате внешней торговли с работой в ВЧК в качестве одного из секретарей президиума ВЧК.
Характеризуя Ягоду, современники подчёркивали его деловитость, аккуратность и спокойный, ровный характер. Очевидно, эти качества сотрудника импонировали Ф.Э. Дзержинскому, и, по всей видимости, не без его согласия Ягода становится в 1921 году управляющим делами ВЧК, а затем и заместителем начальника Особого отдела, точнее, заместителем А.Х. Артузова. Прошло ещё два года, и Дзержинский, оценивший деловые качества Ягоды, назначил его своим заместителем.
В 1926 году, после смерти Ф.Э. Дзержинского, руководителем ОГПУ становится В.Р. Менжинский. К этому времени Ягода прошёл в ВЧК-ОГПУ большую школу и, если так можно сказать, становится профессионалом, заместителем Менжинского.
В середине 20-х годов руководство ОГПУ существенно обновляется. По различным причинам соратники Дзержинского — М. Лацис, Я. Петерс, М. Кедров, В. Манцев, И. Уншлихт — ушли на другие участки работы и впоследствии были репрессированы. С годами роль Ягоды и руководстве ОГПУ возрастает, чему способствовала и частая болезнь Менжинского. Многие вопросы Ягоде приходится решать в таких случаях в качестве первого лица.
Как известно, на XV съезде партии (1927 год) заметно усилилась и обострилась борьба в высшем партийном и государственном эшелоне против проводимой Сталиным и его ближайшим окружением политики государственного строительства. Уже к этому времени в отношении инакомыслящих применялись и ссылки, и заключение в политизоляторах. Эти меры не только получали поддержку и одобрение, но и провоцировали на более широкое применение. В частности, Е. Ярославский (Губельман) требовал: «Для здоровой работы нашей партии, для блага революции мы не должны останавливаться… ни перед какими средствами». К 10-летию Октябрьской революции из партии оказались исключёнными Л.Б. Каменев и так называемая «троцкистская оппозиция», а после праздника и Г.Е. Зиновьев.
Сталин прекрасно понимал значение аппарата ОШУ в борьбе со своими политическими противниками и принимал меры к его подчинению. В то же время он ещё не мог единолично командовать этим аппаратом. Вместе с тем, общаясь с Ягодой, он сумел распознать в нём своего союзника в борьбе со всякими «уклонами» и расчётливо сделал на него ставку. Зная такую черту Ягоды, как самолюбие, Сталин использовал первую же возможность подчеркнуть это. Подходящий повод для этого вскоре оказался.
18 декабря 1927 года на Красной площади состоялся парад войск ОГПУ Московского гарнизона. Газета «Красная звезда» опубликовала в связи с этим следующее сообщение: «…Командовал парадом командир дивизии особого назначения тов. Кобелев. Принимал парад заместитель председателя и командующий войсками ОГПУ тов. Ягода, заместитель председателя ОГПУ тов. Трилиссер, начальник Главного управления погранохраны и войск ОГПУ тов. Кацнельсон, член коллегии ОГПУ и уполномоченный ОГПУ в Ленинграде тов. Мессинг и другие. Они обходили выстроившиеся части… навстречу им неслись торжественные крики «ура!».
Вечером в Моссовете состоялось торжественное заседание. Президиум ЦИК СССР по случаю юбилейной даты наградил большую группу чекистов орденами Красного Знамени. Первым в этом списке значился пока ещё официально второй человек в ОГПУ Г.Г. Ягода. Его заслуги оценивались следующим образом: как «…активнейшего работника и одного из руководителей Всероссийской чрезвычайной комиссии и ОГПУ, проявившего в самое трудное для Советского государства время редкую энергию, распорядительность, самоотверженность в деле борьбы с контрреволюцией».
Среди выступавших по случаю юбилейной даты был и Н.И. Бухарин. Его слова можно определить как зловеще-пророческие. «Наше время, — говорил он, — время неустойчивое. Сегодня мы строим, но, строя, помним, что предстоят ещё огромные бои. Бои, которые по своему размаху превзойдут бои в дни Октябрьской революции…» Сумей он в то время определить своё будущее, вряд ли речь была бы такой воинственной.