Седьмого мая 1765 года родилась единственная дочь Карвена, получившая имя Энн. Крестил ее преподобный Джон Грейвз из Королевской церкви, прихожанами которой стали Карвены через некоторое время после свадьбы, — это было своеобразным компромиссом между конгрегационалистами и баптистами{19}, к каковым церквям принадлежали их ближайшие родственники. Запись о рождении девочки, так же как запись о регистрации брака, заключенного двумя годами ранее, в большинстве церковных книг и анналах мэрии были вымараны. Чарльз Вард с большим трудом смог найти документальные подтверждения этим фактам лишь после того, как узнал о своем родстве с Карвеном. Юноша со страстью предался изысканиям, касающимся этого человека. Запись о рождении Энн он нашел совершенно случайно, в ходе переписки с наследниками доктора Грейвза, который, в ходе Революции покидая свою паству как верный сторонникам короля, прихватил дубликаты всех церковных записей. Вард написал им, потому что знал, что его прапрабабушка, Энн Тиллингест Поттер, принадлежала к епископальной церкви{20}.
Вскоре после рождения дочери — события, по поводу которого предок Варда выразил огромную радость, странную при его обычной сдержанности, — Карвен решил заказать свой портрет. Он поручил эту работу жившему тогда в Ньюпорте талантливому художнику — шотландцу по имени Космо Александер{21}, впоследствии получившему известность как первый учитель Джилберта Стюарта{22}. Говорили, что портрет, отличающийся необыкновенным сходством, был написан на стенной панели в библиотеке дома на Олни-Корт, но ни один из дневников, где упоминается этот портрет, не говорит о его дальнейшей судьбе. В то время сам Карвен стал как-то необычно задумчив и проводил почти все время на потаксетской ферме. Утверждали, что он постоянно находился в состоянии тщательно скрываемого лихорадочного беспокойства, словно ожидая чего-то важного, как человек, который вот-вот сделает необыкновенное открытие. По всей вероятности, это было связано с его химическими или алхимическими экспериментами, ибо он перевез на ферму огромное количество книг по этим предметам.
Его интерес к общественной деятельности не уменьшился, и Карвен не упускал возможности помочь Стивену Хопкинсу, Джозефу Брауну и Бенджамину Весту, пытавшимся оживить культурную жизнь города, уровень которой был гораздо ниже, чем в Ньюпорте, прославившемся своими меценатами. Он помог Дэниелу Дженксу в 1763 году основать книжную лавку и был его постоянным и лучшим клиентом, а также оказывал денежную помощь испытывавшей трудности «Газетт», которая печаталась по пятницам в типографии под вывеской с изображением Шекспира. Он горячо поддерживал губернатора Гопкинса против партии Варда, оплотом которой был Ньюпорт, а в 1765 году его яркое красноречивое выступление в Хечерз-Холле против выделения Северного Провиденса в самостоятельную муниципальную единицу способствовало тому, что предубеждение против него мало-помалу рассеялось. Однако Эзра Виден, который постоянно наблюдал за Карвеном, лишь пренебрежительно фыркал, когда при нем упоминали об этих поступках, и публично клялся, что все это не более чем маска, служащая для прикрытия дел, более черных, чем глубины Тартара. Молодой человек принялся тщательно собирать сведения обо всем, что касалось Карвена, и особенно интересовался тем, что тот делает в гавани и на своей ферме. Виден проводил целые ночи близ верфи, держа наготове легкую рыбацкую плоскодонку, и всякий раз, увидев свет в окне склада Карвена, скрытно преследовал его небольшой бот, курсировавший по бухте. Он также вел самое пристальное наблюдение за фермой на Потаксет-роуд и однажды был сильно искусан собаками, которых натравила на него странная чета индейских слуг.
В 1766 году в поведении Джозефа Карвена произошла разительная перемена: напряженное ожидание, в котором он пребывал последнее время, сменилось радостным возбуждением, и он стал появляться на людях с видом победителя, с трудом скрывающего ликование по поводу неких блестящих успехов. Казалось, он еле удерживается от того, чтобы всенародно объявить о своих открытиях; но, по-видимому, необходимость соблюдать тайну была все же сильнее, чем потребность разделить с ближними радость, так как он никого не посвятил в причину такой резкой смены настроения. Сразу же после переезда в новый дом, что произошло, по всей вероятности, в начале июля, Карвен стал повергать людей в удивление, рассказывая вещи, которые могли быть известны разве что давным-давно усопшим предкам.