В частности, в ходе командировки в Швецию Слуцкий проявил себя как мужественный, находчивый и способный разведчик. Подобрав нужных людей, он с их помощью сумел добыть техническую документацию, касающуюся технологии производства шарикоподшипников, остро необходимых в тот период народному хозяйству СССР.
Не менее успешно действовал он и на Американском континенте, где приобрел ценные источники информации, долгие годы снабжавшие советскую внешнюю разведку важными сведениями.
Будучи заместителем начальника Иностранного отдела, курировал направление разведки по добыванию в западных странах информации о новой технике и новейших технологиях. Однако фактически круг его деятельности был значительно шире. В частности, Слуцкий контролировал работу сотрудников внешней разведки с перспективной агентурой в Англии, получившей впоследствии название «Кембриджской пятерки». Он активно поддерживал идею привлечения к разведывательной работе в западноевропейских странах близких нам в идеологическом плане перспективных молодых людей в расчете на их внедрение в дальнейшем в интересовавшие Москву правительственные объекты и местные спецслужбы.
После образования 10 июля 1934 года НКВД СССР Слуцкий стал заместителем начальника, а с 21 мая 1935 года — начальником Иностранного отдела Главного управления государственной безопасности НКВД СССР (25 декабря 1936 года Иностранный отдел был преобразован в 7-й отдел ГУ ГБ НКВД). В ноябре 1935 года Слуцкому было присвоено специальное звание комиссара госбезопасности 2-го ранга (генерал-полковник Красной армии). На посту начальника внешней разведки Слуцкий находился вплоть до своей смерти.
Комиссар госбезопасности Слуцкий награжден двумя орденами Красного Знамени, двумя нагрудными знаками «Почетный работник ВЧК—ГПУ» (1927, 1932) и именным маузером.
17 февраля 1938 года Абрам Аронович Слуцкий внезапно скончался в кабинете заместителя наркома внутренних дел СССР, командарма 1-го ранга Михаила Петровича Фриновского во время доклада. Вокруг его смерти по сей день распространяются противоречивые слухи.
По официальной версии, смерть Слуцкого наступила в результате острой сердечной недостаточности. В тот день Слуцкий был крайне озабочен тревожными сообщениями из Австрии, предупреждавшими о скором ее захвате фашистской Германией. Необходимо было принимать срочные меры, чтобы обеспечить бесперебойную работу разведки в новых условиях.
Одновременно из Италии пришло срочное сообщение о побеге из Рима высокопоставленного советского дипломата. Требовалось принять незамедлительные меры по локализации возможных неблагоприятных для СССР последствий. Слуцкий намеревался согласовать необходимые действия с заместителем наркома, собрал нужные документы и направился на доклад к недавно назначенному на этот пост Фриновскому.
В коридоре Слуцкий почувствовал себя плохо. Едва войдя в кабинет и поздоровавшись, он попросил разрешения присесть. Неожиданно начал заваливаться набок и затем осел в кожаном кресле. Срочно вызванный врач констатировал смерть от разрыва сердца.
На следующий день газета «Правда» опубликовала траурные сообщения руководства, партийного комитета и общественных организаций НКВД СССР о безвременной кончине видного чекиста и активного члена партии Слуцкого — «беспощадного борца с врагами нашей Родины».
А. А. Слуцкий был похоронен со всеми воинскими почестями в Москве на Новодевичьем кладбище.
Однако спустя много лет в определенных кругах поползли слухи, что еще в декабре 1938 года Берия на одном из собраний в НКВД якобы назвал Слуцкого «врагом народа». Позже в некоторых публикациях говорилось и о том, что арестованный в 1938 году бывший заместитель начальника отдела оперативной техники НКВД Алехин на допросе якобы показал, что Слуцкий был отравлен им путем инъекции цианистого калия при содействии Фриновского и начальника УНКВД Московской области Ваковского. А арестованный в 1939 году бывший нарком внутренних дел СССР Ежов якобы также подтвердил эту версию, заявив, что Слуцкий был отравлен по указанию Сталина.
Необходимо отметить, что многие историки отечественных спецслужб склоняются в пользу официальной версии смерти Слуцкого, сильно сомневаясь в версии его отравления. Во-первых, все показания в пользу второй версии были получены только в ходе допросов уже арестованных чекистов, которые могли себя оговорить, или их могли заставить это сказать. Эти показания ничем не подтверждаются. И, во-вторых, у Слуцкого действительно было больное сердце, и об этом хорошо знали все сотрудники внешней разведки.