В новом доме на Олни-Корт больше не происходило ничего., внушающего беспокойство, и хотя Карвен часто отлучался на свою ферму в Потуксете, где его жена так ни разу и не побывала, он больше походил на обычного жителя города, чем когда бы то ни было за долгое время его жизни в Провиденсе. Лишь один человек проявлял к нему открытую вражду - молодой корабельный штурман, помолвка которого с Элайзой Тиллингест была так внезапно расторгнута. Эзра Виден при свидетелях поклялся отомстить и, несмотря на то, что обладал спокойным и в общем мягким характером, взялся за дело с упорством, продиктованным ненавистью, а это не обещало ничего хорошего человеку, отнявшему у него невесту.
Седьмого мая 1765 года родилась единственная дочь Карвена Энн. Крестил ее Преподобный Джон Грейвз из Королевской Церкви, прихожанами которой стали Карвены через некоторое время после свадьбы - это было своеобразным компромиссом между принадлежностью к конгрегационистам и баптистской церкви.
Запись рождения девочки, так же, как и запись регистрации брака, заключенного за два года перед этим, в большинстве церковных записей и гражданских книг мэрии была уничтожена, и Чарльз Вард смог найти эти записи с большим трудом лишь после того, как, узнав о том, что вдова Карвена сменила фамилию, установил свое родство с Карвеном. Юноша со страстью предался изысканиям, касающимся этого человека. Запись о рождении Энн он нашел совершенно случайно, в ходе переписки с наследниками доктора Грейвза, который, покидая свою паству после Революции, ибо был верным сторонником короля, взял с собой дубликаты всех церковных записей. Вард написал им, потому что знал, что его прапрабабушка, Энн Тиллингест Поттер, принадлежала к епископальной церкви.
Вскоре после рождения дочери, события, по поводу которого предок Варда выразил огромную радость, странную при его обычной сдержанности, Карвен решил заказать свой портрет. Он поручил эту работу жившему тогда в Ньюпорте талантливому художнику - шотландцу по имени Космо Александр, впоследствии получившему известность как первый учитель Джилберта Стюарта. Говорили, что портрет, отличающийся необыкновенным сходством, был написан на стенной панели в библиотеке дома на Олни-Корт, но ни один из дневников, где упоминается этот портрет, не говорит о его дальнейшей судьбе. В то время сам Карвен стал как-то необычно задумчив и проводил почти все время на ферме в Потуксет Роуд. Утверждали, что он постоянно находился в состоянии тщательно скрываемого лихорадочного беспокойства, словно ожидая, что случится что-то невероятное, как человек, который вот-вот сделает необыкновенное открытие.
По всей вероятности, дело касалось химии или алхимии, потому что он перевез на ферму огромное количество книг по этому предмету.
Его интерес к общественной деятельности не уменьшился, и Карвен не упускал возможности помочь Стефану Хопкинсу, Джозефу Брауну и Бенджамину Весту, пытавшимся оживить культурную жизнь города, уровень которой был гораздо ниже, чем в Ньюпорте, прославившимся своими меценатами. Он помог Дэниэлу Дженксу в 1763 году основать книжную лавку и был его постоянный и лучшим клиентом, а также оказывал денежную помощь испытывавшей постоянные трудности «Газетт», которая выходила каждую пятницу в типографии под вывеской, изображавшей Шекспира. Он горячо поддерживал губернатора Гопкинса против партии Варда, ядро которой находилось в Ньюпорте, а его яркое красноречивое выступление в Хечер Холле в 1765 году против отделения Северного Провиденса способствовало тому, что предубеждение против него мало-помалу рассеялось. Но Эзра Виден, который постоянно наблюдал за Карвеном, пренебрежительно фыркал, когда при нем упоминали об этих поступках, и публично клялся, что все это не более, чем маска, служащая для прикрытия дел, более черных, чем глубины Тартара. Мстительный юноша принялся тщательно собирать сведения обо всем, что касалось Карвена, и особенно интересовался, что тот делает в гавани и на своей ферме. Виден проводил целые ночи в верфи: держа наготове легкую рыбацкую плоскодонку и увидев свет в окне склада Карвена, преследовал на ней небольшой бот, который часто курсировал взад-вперед по бухте. Он также вел самое пристальное наблюдение за фермой на Потуксет Роуд, и однажды его сильно искусали собаки, которых натравила на него странная индейская чета, прислуживающая на ферме.
В 1766 году в поведении Джозефа Карвена произошла решительная перемена - напряженное ожидание, в котором он пребывал последнее время, сменилось радостным возбуждением, и он стал появляться на людях с видом победителя, с трудом скрывающего ликование по поводу блестящих успехов. Казалось, он еле удерживается от того, чтобы всенародно объявить о своих открытиях и великих свершениях; но, по-видимому, необходимость соблюдать тайну была все же сильнее, чем потребность разделить с ближними радость, так как он ни разу никого не посвятил в причину такой резкой смены настроения. Сразу же после переезда в новый дом, что произошло, по всей вероятности, в начале июля, Карвен стал повергать людей в удивление, рассказывая вещи, которые могли быть известны разве что давным-давно усопшим предкам.
Но лихорадочная тайная деятельность Карвена отнюдь не уменьшилась с этой переменой. Напротив, она скорее усилилась, так что все большее количество его морских перевозок поручалось капитанам, которых он привязывал к себе узами страха, такими же крепкими, как до сих пор боязнь разорения. Он полностью оставил работорговлю, утверждая, что доходы от нес постоянно падают; почти все время проводил на ферме в Потуксете, но иногда проходил слух, что он бывает в местах, откуда можно было легко попасть на кладбище, так что многие не раз задумывались над тем, так ли уж сильно изменились привычки и поведение столетнего купца. Эзра Виден, вынужденный время от времени прерывать свою слежку за Карвеном, отправляясь в плавание, не мог заниматься этим систематически, но зато обладал мстительным упорством, которого были лишены занятые своими делами горожане и фермеры; он тщательно, как никогда ранее, изучил все, связанное с Карвеном.
Странные маневры судов таинственного купца не вызывали особого удивления в эти беспокойные времена, когда, казалось, каждый колонист был полон решимости игнорировать условия Сахарного Акта который препятствовал оживленным морским перевозкам. Провезти контрабанду и улизнуть считалось скорее доблестью в Наррагансеттской бухте, и ночная разгрузка недозволенных товаров была совершенно обычным делом. Однако, наблюдая каждую ночь, как лихтер или небольшие шлюпы отчаливают от складов Карвена, находящихся в доках Таун-Стрит, Виден очень скоро проникся убеждением, что его зловещий враг старается избежать не только военных кораблей Его Величества. Раньше, до 1766 года, когда поведение Карвена резко изменилось, эти корабли были нагружены большей частью неграми, закованными в цепи. Живой груз переправляли через бухту и выгружали на заброшенном клочке берега к северу от Потуксета; затем их отправляли по суше вверх, по почти отвесному склону к северу, на ферму Карвена, где запирали в огромной каменной пристройке с узкими бойницами вместо окон. Но теперь все пошло по-другому. Неожиданно прекратился ввоз рабов, и на время Карвен отказался от своих ночных вылазок.
Затем, весной 1767 года, Карвен избрал новый способ действий. Лихтеры снова регулярно отплывали, покидая темные молчаливые доки, на этот раз спускались вдоль бухты на некоторое расстояние, очевидно, не далее Ненквит Пойнт, где встречали большие корабли разных типов и перегружали с них неизвестные товары. Потом команда Карвена отвозила этот груз к обычному месту на берегу бухты и переправляла его по суше на ферму, складывая в том же загадочном каменном здании, которое прежде служило для содержания негров. Груз большей частью состоял из больших коробок и ящиков, многие из них имели продолговатую форму и вызывали неприятные ассоциации с гробами.