И вновь, как и несколько лет назад, перед расставанием с Ив, Миллер пребывает в мрачном настроении. Вновь жалуется в письмах, что никак не получается дописать «Нексус»: дали бы несколько месяцев спокойной жизни — наверняка дописал бы! «Не могу работать под прессом! — пишет он своему новому другу юристу Элмеру Герцу. — Если не получаю от работы радость, лучше вообще не работать». Теперь понятно, почему он так мало писал при Янине Лепской: вот уж кто был для него постоянным «прессом»! Увы, теперь, когда он стал известен, спокойная жизнь, как он и предполагал, осталась в прошлом. «Мечусь, мечусь каждый день, чтобы успеть сделать все, что нужно, — пишет он Герцу в марте 1963 года. — Вчера вечером вдруг почувствовал, что надорвался, решил, что у меня инфаркт. Слишком много беготни, слишком много обязательств. И слишком много хлопот — самых разнообразных!» А в конце года совсем приуныл. «Прошлый год пропал даром, — пишет он Герцу в день своего рождения, 26 декабря, — и все мои заработки обернулись не радостью, а бессчетными проблемами и заботами. Минуты счастья случаются, но как же они мимолетны! Да и счастье ли это? Наверняка не скажешь… В мире нет ничего подлинного, неподдельного. Мои дни становятся все короче и короче».
Вот и Дарреллу жалуется, что ему одиноко, и друг советует бросить Америку и теперь, когда деньги появились, переехать жить по примеру Набокова в какой-нибудь небольшой отель в Париже или в Афинах: «К тебе будут приезжать твои друзья и знакомые». Отказывается: в Европу он не вернется, не хочет входить в одну реку дважды, да и друзей в Париже не осталось. «Все разъехались, война всё поломала», — с горечью заметил он в одном интервью.
Снимает сначала однокомнатную квартиру, «камеру отшельника», как он ее называет. А через полтора года на паях с Лепской («Нам с ней нечего делить», — пишет Миллер в это время своему «исповеднику» Уоллесу Фаули) покупает дом на Окампо-Драйв, куда и переселяется. Отдельный вход, кабинет, собственный бассейн, ужин в кругу бывшей семьи (если пожелает), этажом выше — Вэл и Тони. Дочь радует больше, сын — меньше — так, впрочем, было всегда. Вэл неплохо учится, много читает, книги отца, правда, в ее круг чтения не входят. «Будет читать меня после моей смерти», — успокаивает себя любящий отец. Овладела французским, собирается в колледж. Тони же в учебе преуспел не слишком, читает мало, правда (информирует того же Фаули Миллер), «знает разницу между книгами настоящими и никудышными». Зато (всегда найдется это «зато») хорош собой, великолепно сложён. «Настоящий атлет, — хвалится сыном Миллер в письме Фаули. — Как знать, возможно, будет космонавтом». Нет, космонавтом не будет, будет учиться в военной академии, воевать во Вьетнаме, но и военной карьеры не сделает тоже, будет работать на бензоколонке, надежд родителей не оправдает. «Со временем, я уверен, из него получится что-то необычное, — надеется, „вопреки надежде“, Миллер. — Он более независим, более решителен, чем я в его возрасте».
Но все это в будущем. Пока же Миллер живет в кругу «смешанной семьи» (такую семью американцы называют «blended family»). И живет неплохо: плавает в бассейне, катается на велосипеде, играет в пинг-понг и в шахматы, делает массаж, завел очередной роман, на этот раз с израильской киноактрисой. И независим, и не одинок — чего, казалось бы, еще желать?! Подобный компромисс продолжается, однако, недолго: спустя год Миллер вновь остается один, на этот раз не в скромном коттедже на вершине каньона, а в двухэтажном доме посреди столь ненавистной ему «машинной» цивилизации. Остается один и ищет себе в помощь (годы берут свое) экономку и секретаря — по возможности в одном лице и по возможности в лице женском и миловидном. Янина в очередной раз выходит замуж, ее, уже третий, супруг — социолог из Пасадены. Выйдет замуж (но вскоре разведется) и Вэл, Тони идет в армию — разъехались все. Примерно в это же время, спившись, умирает в Биг-Суре Ив Макклур.
Пишет мало, в эти годы из него даже предисловия не выжмешь. Разбрасывается по мелочам — не до «Нексуса», ставшего для него каким-то наваждением, неизжитым комплексом. За стол садится редко и ненадолго: «С каждым днем мне все труднее и труднее о чем-нибудь писать». Да и к чему садиться — ничего же не получается. Вопреки теперь уже громкой известности, считает себя — и без привычного кокетства — неудачником, в уже упоминавшемся интервью Жоржу Бельмонту называет себя обидным французским словом «un raté» — что-то вроде нашего горемыки.