В 1937 году Питер окончил школу, и в том же году семья в законном порядке изменила свою фамилию на Карлоу. Он получил право на стипендию Суартмора и с началом войны пошел служить в ВМС и УСС. В 1947 году, когда недавно созданное ЦРУ обратило внимание на доводы Карлоу в пользу создания более совершенного шпионского технического оборудования, он был принят на работу в это ведомство. Он возглавил службу специального оборудования и занимался «жучками» и другими устройствами шпионажа, пока в 1950 году Ричард Хелмс не отправил его в Германию для создания лаборатории в пригороде Франкфурта.
В 1952 году, работая в Германии, Карлоу женился на Элизабет («Либби») Рауш, которая поступила в ЦРУ вскоре после окончания колледжа и была направлена на работу в Хёхст в техническое подразделение Карлоу. Позднее она работала в контрразведке, в советском отделе во Франкфурте и Мюнхене, но ушла из ЦРУ незадолго до рождения первого ребенка в 1953 году. Какое-то время мать Карлоу также работала в ЦРУ, в управлении подготовки кадров, а впоследствии в качестве внештатного преподавателя немецкого и итальянского языков.
В 1956 году Карлоу вернулся в Центр и продолжил свою работу в отделе стран Восточной Европы, а также в качестве заместителя начальника отдела экономических мероприятий. В 1959 году он организовал совет технических потребностей, подразделение ЦРУ, которое наряду с другими программами пыталось скопировать «жучок», обнаруженный в гербе, и стал его секретарем.
Летом 1961 года Хелмс направил его в центр операций государственного департамента. А спустя шесть месяцев бежал Голицын, и Карлоу, который добился руководящих постов в ЦРУ, внезапно был заподозрен в том, что является советским шпионом и предателем своей страны, о чем сам он и не догадывался. В обстановке того времени, видимо, не имело никакого значения, что он, по крайней мере, чуть не погиб, защищая ее.
Летом 1962 года Карлоу встретился с Хелмсом и просил отозвать его из госдепартамента. «Я попросил освободить меня от этой работы, потому что там мне ничего не светило. Я хотел занять должность начальника отдела технических служб. Хелмс не отказал мне, но и не предложил работу». Он, казалось, предоставил Карлоу полную свободу действий. «А пока, — сказал Хелмс, — приведите в порядок кое-какие дела для меня. Возвращайтесь в отдел экономических мероприятий». Заместитель директора ЦРУ по планированию не дал никаких точных указаний, но Карлоу понял, что Хелмс негласно предлагает свернуть некоторые операции этого подразделения, если не весь отдел. Это была деликатная задача, поскольку несколькими годами ранее Карлоу работал в этом отделе. Теперь ему предстояло вернуться туда, чтобы поработать топором для Хелмса. Ему отводилась роль, которая не способствовала росту его популярности среди бывших коллег в отделе.
Когда Карлоу появился в своем бывшем подразделении, он столкнулся с комической операцией ЦРУ, которая могла бы сойти прямо со страниц одного из романов Ивлина Во. Объектом являлось государство Западной Африки — Гвинея. «Одному бизнесмену из Бруклина дали деньги, чтобы он купил грузовое судно и импортировал товары из Гвинеи с целью продемонстрировать гвинейцам прелести свободного рынка, — вспоминал Карлоу. — Ему удалось закупить судовой груз гвинейских бананов — зеленых с черными точками. Он пытался продать их компании детского питания «Джербер». Но кто-то в компании решил, что это не то, что им хотелось бы. В конце концов он продал эти бананы Польше с убытком, который возместило ЦРУ».
Помимо того что «Джербер» не захотела закупить зеленые бананы с пятнами для детского питания, имелась еще и крохотная финансовая проблема. «В этой торговой операции с Гвинеей сто тысяч долларов ока-запись пропавшими бесследно. Я рекомендовал прикрыть ее, но сотрудники отдела посчитали, что я делаю это со зла. Однако я установил, что в Гвинее уже обосновались три крупные американские компании, и усомнился в обоснованности этой операции».
К началу осени Карлоу завершил свою работу в отделе экономических мероприятий и тянул время. «Я был в затруднительном положении. У меня не было оснований считать, что я под подозрением. Я чувствовал затянувшуюся вендетту со стороны сотрудников отдела экономических мероприятий. И когда моя карьера стала пробуксовывать, я подумал, что, возможно, это результат внутренней вражды».
Еще когда начались странные посещения людей ФБР и чистильщиков печей, Карлоу на короткое время обрел надежду, что в его судьбе наступает улучшение. В конце концов, может быть, его проверяют для работы в отделе технических служб.