Непосредственное отношение к литературе среди его близких родственников имела лишь младшая сестра его матери, критик Лидия Поляк, и читатели Лета в Бадене вскользь встречают ее уже на первой странице. Рассказчик, сидя в поезде на Ленинград, открывает книгу, драгоценную книгу, любовно описывая ее переплет и расписную закладку, после чего мы узнаем, что это дневник второй жены Достоевского, Анны Григорьевны, и что этот ветхий, распадающийся на страницы том достался ему от безымянной тетки — несомненно, той самой Лидии Поляк, «обладательницы большой библиотеки». «В глубине души не собирался отдавать ее обратно», — пишет Цыпкин, и потому сам подрезал ее страницы и заключил в новую обложку.
Михаил Цыпкин рассказывал, что отец то и дело в текстах отпускал язвительные уколы в адрес Поляк. Она имела много связей и полвека вращалась в кругах московской интеллигенции; с 1930-х годов она была научным сотрудником Института мировой литературы имени Горького, и даже, когда ее лишили преподавания в Московском университете во время антисемитских чисток начала 1950-х, в институте она продолжила работать, и Синявский тогда был ее младшим сотрудником. Поляк организовала несостоявшуюся встречу Цыпкина с Синявским, но при этом, по всей видимости, не была высокого мнения о творчестве племянника и относилась к нему со снисхождением, чего он ей никогда не смог простить.
В 1977 году сын Цыпкина с женой решили подать заявления на выездные визы. Наталья Мичникова, опасаясь, что из-за ее работы сын не пройдет проверку, уволилась из своего отдела в Государственном комитете по материально-техническому снабжению (Госснабе), где она занималась распределением тяжелой дорожно-строительной и строительной техники практически во всех экономических секторах СССР, в том числе военном. Визы им выдали; Михаил и Елена Цыпкины уехали в США. Как только КГБ передал эту информацию Сергею Дроздову, директору Института полиомиелита и вирусных энцефалитов, Цыпкина понизили до младшего научного сотрудника — позиции для студентов с неполным образованием (у него их было два), с которой он сам начинал двадцать лет тому назад. Его зарплату — теперь единственный источник дохода семьи — урезали на три четверти. Он продолжил ездить в институт каждый день, но его отстранили от лабораторных исследований; ни один коллега из его исследовательской группы не пожелал больше работать с ним, боясь запятнать себя контактом с «нежелательным элементом». Искать исследовательскую должность где-то еще не имело смысла, потому как при приеме на любую работу ему пришлось бы сказать, что его сын — эмигрант.
В июне 1979 года Леонид Цыпкин, его жена и мать подали документы на выездные визы. Решения они ждали почти два года. В апреле 1981 года им сообщили, что их заявления «нецелесообразны», а потому не получили одобрения. (Эмиграция из СССР фактически была прекращена в 1980 году с ухудшением отношений с США на фоне советского вторжения в Афганистан; стало очевидно, что Вашингтон не готов идти ни на какие уступки в обмен на разрешение советским евреям покинуть страну.) В этот период Цыпкин написал большую часть Лета в Бадене.
Он начал свою книгу в 1977 году и закончил в 1980-м. Написанию предшествовали несколько лет подготовки: Цыпкин сверялся с архивами и фотографировал знаковые места в жизни Достоевского и его персонажей — в те времена года и дня, когда они оказывались там в его романах. (Цыпкин увлекался фотографией и завел фотоаппарат еще в начале 1950-х.) Закончив Лето в Бадене, он подарил альбом со своими фотографиями музею Достоевского в Ленинграде.