Международный валютный фонд приступил к работе 6 мая 1946 года. Уайт председательствовал на первой сессии его правления. Казалось, что он, как один из создателей МВФ, МБРР, Бреттон-Вудской системы, будет ещё долго трудиться в международных финансовых институтах. Однако именно в это время у Гарри Декстера Уайта начались некоторые неприятности.
Двойная лояльность. В 1934 году, перейдя на работу в министерство финансов, Уайт вступил в контакт в Вашингтоне с членами местных коммунистических ячеек. Он формально не вошёл в компартию, но общавшиеся с ним коммунисты считали его человеком, близким им по политическим взглядам, "попутчиком" (fellowtraveler). Тогда же он познакомился с У. Чамберсом, функционером подпольного аппарата партии, а заодно связным советской резидентуры. Через некоторое время, по предложению Дж. Петерса, руководителя подпольного аппарата, контакты Уайта с коммунистами были ограничены, чтобы они не мешали его карьере в правительстве. Однако связь с Чамбресом Уайт продолжал поддерживать. Как и некоторые другие правительственные служащие, он поставлял Чамберсу документы, их копии, а также, раз в 1–2 недели, собственные обзорные записки, которые тот микрофильмировал и передавал советским резидентам. К Рождеству 1936 года Б. Быков, нелегал советской разведки и куратор Чамберса, подарил Уайту и другим информаторам (Хиссу, Уэдли, Сильверману) по дорогому бухарскому красному ковру.
В конце 1937 года Чамберс решил выйти из партии и прекратить сотрудничество с советской разведкой. Он сделал попытку убедить Уайта и других последовать своему примеру, но не преуспел в этом. Хотя после заключительной встречи Уайт, по его словам, расстался с ним в "возбуждённом состоянии", однако аргументы Чамберса, как показали дальнейшие события, его не убедили. Очевидно, у него имелись свои соображения насчёт сотрудничества с советской разведкой.
В 1940-х годах Уайт передавал информацию для советских резидентов через Натана Сильвермастера. Помимо этого, он набирал в свой отдел и способствовал продвижению в других подразделениях министерства финансов лиц сходного с ним мировоззрения, многие из которых тоже сотрудничали с советской резидентурой в США. Так, с 1936 года в отделе исследований и статистики стал работать Гарольд Глассер; в 1938 году он стал заместителем Уайта. В 1936-7 гг. Глассер вместе с Уайтом передавали информацию для резидента советской разведки Б. Быкова. Глассер участвовал также в деятельности шпионской группы В. Перло, параллельно группе Сильвемастера передававшей материалы для Якова Голоса. В 1939 году Уайт пригласил работать в MonetaryDivision Фрэнка Коу. По показаниям Чамберса, Коу в середине 1930-х гг. входил в кружок Уэйра, а по показаниям Бентли в 1940-х гг. поставлял информацию для Сильвермастера. На Бреттон-Вудской конференции Коу входил в состав американской делегации, возглавлявшейся Уайтом; в феврале 1945 года сменил Уайта на посту директора отдела валютных исследований; в июне 1946 года стал главой офиса секретариата МВФ. На посту директора MonetaryDivision его сменил Глассер. В 1939 году к отделу Уайта присоединился Люд Ульман. Вместе с Сильвермастером, с которым он жил в одном доме, Ульман занимался фотографированием шпионских документов в специально устроенной для этого лаборатории. На Бреттон-Вудской конференции 1944 года и Сан-Францисской конференции по организации ООН 1945 года Ульман был помощником Уайта. С 1939 года в отделе Уайта стал работать Соломон Адлер (между прочим, получивший гражданство США только в следующем году). По показаниям Чамберса, Адлер передавал экономическую информацию руководству компартии США. С июля 1941 года Адлер стал представителем казначейства в Китае (Чунцине), откуда поставлял информацию для группы Сильвермастера. В 1944 году Адлер присутствовал на Бреттон-Вудской конференции, где консультировал Уайта по китайским делам. Некоторое время у Уайта в MonetaryDivision работал член компартии США и руководитель отдельной шпионской группы Виктор Перло. Когда у Натана Сильвермастера, назначенного в отдел военной экономики, начались проблемы с контрразведкой, возражавшей против этого назначения из-за связей Сильвермастера с компартией США, Уайт и Курри, советник президента Рузвельта, поручились за его репутацию и помогли снять возражения контрразведчиков. Сильвермастер некоторое время присутствовал на конференции в Бреттон-Вудсе, вместе с Уайтом.