Дом Филби стал местом, где собирались молодые офицеры разведки из Пятого отдела, загородной версией лондонского салона Харрисов, где двери — а также разнообразные бутылки — всегда были открыты. Грэм Грин, на тот момент один из заместителей Филби, вспоминал «долгие воскресные ланчи в Сент-Олбансе, когда целый подотдел отдыхал под его руководством, предаваясь обильным возлияниям». Коллеги обожали Филби и впоследствии упоминали о его «небольших знаках привязанности», душевной щедрости и отвращении к мелочным офисным интригам. «В нем что-то было, какая-то аура притягательной авторитетности, как у некоего романтического командира взвода, благодаря которой людям хотелось представать перед ним в наилучшем виде. Даже начальство признавало его способности и полагалось на него».
Пятый отдел представлял собой тесно сплоченное сообщество: всего дюжина представителей руководящего состава и их заместителей и столько же обслуживающего персонала. Руководители и секретари обращались друг к другу по имени, а между некоторыми существовала еще более тесная связь. «Веселый оркестр» Филби состоял из его старого школьного друга Тима Милна, жизнерадостного эксцентрика по имени Тревор Уилсон, прежде занимавшегося «приобретением экскрементов скунса» в Абиссинии для французской парфюмерной фирмы «Молине», и Джека Айвенса, экспортера фруктов, свободно говорившего по-испански. Местным жителям внушили, что образованные молодые люди в большом доме — команда археологов из Британского музея, ведущая раскопки развалин Веруламия (так древние римляне называли город, на месте которого теперь стоит Сент-Олбанс). Миссис Реннит, повариха, готовила сытные английские блюда, а по пятницам подавала традиционную картошку с рыбой. По выходным они играли в крикет на прямоугольной площадке за Гленалмондом, а потом перемещались в паб «Король Гарри», расположенный по соседству.
Начальником был полковник Каугилл, но душой компании — Филби: «Его самоотдача и целеустремленность во всем, чем он занимался, словно бы озаряли его изнутри и вдохновляли других следовать за ним». Эллиотт не был одинок в своем преклонении перед Кимом. «Никто не был бы лучшим шефом, чем Ким Филби, — утверждал Грэм Грин. — Он работал усерднее всех, но отнюдь не производил впечатления человека, надрывающегося на работе. Он всегда выглядел непринужденным, совершенно невозмутимым». Даже в самом нестрогом бюрократическом аппарате всегда есть место для манипуляций, но Филби вел себя по отношению к подчиненным подчеркнуто корректно. «Если кто-то совершал просчет, он старался его минимизировать и сгладить, не критикуя». Десмонд Бристоу, только что завербованный сотрудник, говорящий по-испански, прибыл в Гленалмонд в сентябре 1941 года, где его приветствовал Филби, «человек кроткого вида с улыбчивыми глазами и уверенной манерой держаться. Он сразу произвел на меня впечатление тихого обаятельного интеллектуала… В нем чувствовалась умиротворенность духа». «Уютная атмосфера» Пятого отдела отличала его от остальных отделов МИ-6, более подверженных официозу. Члены команды мало что скрывали друг от друга, будь то официальная или личная информация. «Не составляло особого труда выяснить, чем заняты коллеги, — писал Филби. — То, что знал я, становилось известно и всем остальным».
Восхищению подчиненных вторило одобрение начальства. Феликс Каугилл называл Филби «хорошим судьей матчей по крикету». Высшей похвалы попросту не существовало. Она означала, что человек играет по самым честным правилам. Однако некоторые замечали в Филби проблеск чего-то другого, более жесткого и глубокого, некую «расчетливую амбициозность», «безжалостную целеустремленность». Подобно Эллиотту он прикрывался юмором, чтобы избежать расспросов. «В нем было нечто загадочное, — писал Тревор-Роупер. — Он никогда не заводил серьезных разговоров — все было пронизано иронией».
В качестве руководителя пиренейского подотдела Филби столкнулся с серьезным испытанием. Хотя Испания и Португалия официально провозгласили себя «невоюющими» странами с нейтральным статусом, на самом деле обе не только допускали, но и активно поддерживали немецкий шпионаж в крупном масштабе. Вильгельм Лейснер, шеф абвера в Испании, возглавлял хорошо финансируемую, обширную разведывательную сеть, включавшую в себя более двухсот офицеров (то есть более половины немецкого дипломатического корпуса) и порядка полутора тысяч агентов, разбросанных по всей стране. Главной мишенью Лейснера была Великобритания: вербовать и направлять туда шпионов, организовывать прослушку британского посольства, подкупать испанских чиновников и препятствовать английскому судоходству. Еще одним рассадником шпионажа стала Португалия, но там операции абвера, оставленные на попечении распутного немецкого аристократа Лудовико фон Карстхоффа, были менее успешными. Абвер поставлял в Испанию и Португалию средства и шпионов, но в поединке с Лейснером и Карстхоффом у Филби было одно решающее преимущество — Блетчли-парк, шифровальное подразделение повышенной секретности, где перехваченные немецкие радиограммы расшифровывались, благодаря чему можно было добывать бесценные сведения о нацистской разведке. «Потребовалось не так много времени, чтобы получить весьма полную картину действий абвера на [Пиренейском] полуострове», — писал Филби. Эту информацию вскоре будут «активно использовать, чтобы подрывать или, по крайней мере, изрядно запутывать деятельность врага на им же выбранной территории».