Неясно, закончилась ли переписка Эйнштейна с Конёнковой — мы уже говорили о том, что целые массивы писем могут пропасть, временно или навсегда, — но ее место прочно заняла Джоанна Фантова. Она, по-видимому, стала бывать в доме Эйнштейна особенно часто и проводить там целые дни с октября 1953 года, так как в это время начала вести дневник, продолжая его до смерти Эйнштейна. (Сама она умерла в 1981 году.) Неизвестно, было ли у них то, что называют «интимными отношениями», но в Принстоне ее считали его «герлфренд». Он писал для нее смешные стишки, рисовал карикатуры, позволял мыть, расчесывать и стричь свою белоснежную гриву, которой гордился до сих пор; они вместе ходили на концерты и даже катались на лодке, пока врачи не запретили ему это. «Джоанна была очень близка к нему. Он наслаждался ее обществом. Она была его связью со старым миром», — рассказал в интервью 2004 года их общий друг Джиллет Гриффин, в ту пору — молодой историк искусств, работавший вместе с Джоанной в университетской библиотеке. Сам он в 1953-м впервые получил приглашение на обед к Эйнштейну. «Я не имел ни малейшего понятия о физике или математике, но у нас были одни вкусы в музыке, и он знал, что я не пытался нажиться на его славе… Я был своего рода придворным шутом Эйнштейна. Он был… человеком, полным юмора, искренним, добрым и ласковым, мечтателем, обеспокоенным судьбой человечества, одним словом, своего рода хиппи». Фантову же Гриффин охарактеризовал как скрытную и «параноидально ревнивую особу». «Когда я случайно прочел, что она пишет: „Трентон находится в 10 милях от Принстона“, у нее была истерика».
Дневник Фантовой представляет собой короткие разрозненные записи, в которых ничего не говорится о ее отношениях с Эйнштейном; в основном она записывала его фразы или отмечала, что он делал в такой-то день. 15 октября 1953 года: «Письмо от женщины, просящей автографы для своих семи детей, чтобы продать их, так как у нее ничего нет. Он пошлет их, хотя не верит в ее историю». 11 ноября: «Он снова и снова говорил о том, что должна быть независимая от нас реальность. Когда мы смотрим на мышку, неужели это может изменить состояние Вселенной?» «Физики говорят, что я математик, а математики — что я физик». Он страдал бессонницей, жаловался на здоровье, сравнивая себя со старым автомобилем; порой притворялся еще более больным, чтобы избавиться от посетителей. Всегда учтиво отвечал на письма, но ей говорил: «Все маньяки мира пишут мне». Мог провести часы за игрой с котом Тигром или соседскими детьми. Много читал, хотя «его смущала вычурность и длина современных научных и литературных произведений». На скрипке давно не играл, но импровизировал на фортепиано. Иногда говорил афоризмами: «Брак — это безуспешная попытка превратить случайный эпизод в нечто долговременное». Он не знал, что Фантова ведет дневник, а если бы знал, воспротивился, наверное; Зелигу он писал 25 октября: «…мне никогда не приходило в голову, что любое случайно оброненное мною замечание будет подхвачено и увековечено. Если бы знал, еще глубже спрятался бы в своей раковине». Но книгу самого Зелига, вышедшую в 1953-м, не ругал. Она получилась очень комплиментарной, сдержанной и полной эвфемизмов; например, о болезни Эдуарда в ней говорится так: «кроткий и склонный к элегической грусти».
Фантова отмечала, что часто Эйнштейн, измученный бессонницей, утром отказывался умываться, одевался крайне неряшливо, однако 21 декабря все нью-йоркские газеты запечатлели его элегантным, в красивом строгом костюме — он пришел на свадьбу молодого Томаса Баки. В том же месяце к нему обратился за советом профессор физики Альберт Шадовиц, которого вызвали в подкомитет Маккарти; Эйнштейн уже не советовал категорически молчать, но сказал (по воспоминаниям Шадовица): «Во всем ссылайтесь на меня и на Первую поправку — вы же американец, и мы оба уважаем американскую конституцию». В июле следующего года Шадовиц на допросе в подкомитете действительно в каждой фразе ссылался на Эйнштейна и был оправдан…