Отцу Каржавин писал, что на борту судна был обычный груз: вино, патока, соль… и ничего не упоминал о военном снаряжении для повстанцев. Однако в том же сообщении отметил, что корабль тот не совсем был «купцом», был прекрасно вооружен, а его самого судовладельцы назначили быть на нем «военачальным человеком». Это сообщение Каржавина подтверждает «Виргиния газетт»: 16 мая 1777 г. к виргинским берегам прибыл корабль с о-ва Мартиника с грузом пороха, оружия, соли и т. д.
Это первое предприятие Каржавина было весьма опасным. В пути ему пришлось принять участие в морском сражении между английским капером и филадельфийским «полукупцом-полукапером». В тумане кораблю Каржавина удалось ускользнуть от англичан и благополучно добраться до берегов Виргинии.
22 месяца, с 1777 по 1779 г., пробыл Каржавин в Америке, занимаясь торговлей в различных городах и завязывая связи с крупными политическими деятелями новоявленной республики. Высказывалось предположение, что в 1779 г., когда Каржавин жил в доме капитана Лапорта в Вильямсберге (Виргиния), он принимал активное участие в формировании на Мартинике и в Сан-Доминго французской воинской части из островитян.
Несмотря на первый успех, торговая деятельность Каржавина оказалась неудачной из-за эффективной блокады Американского побережья английскими каперами. В 1779 г. Каржавин снарядил корабль, загрузил его «богатым грузом» и отправился в обратный путь на Мартинику. Едва корабль отошел от берегов Виргинии, как был захвачен английским капером. Все деньги, вложенные Каржавиным в предприятие, были потеряны.
Видимо, потеря капитала привела к тому, что Каржавину пришлось в Америке заниматься чем придется, в частности быть аптекарем. В одном из писем он писал: «Я потерял три года, два корабля и все, что имел в Новой Англии, более 20 раз в течение этого времени я рисковал жизнью». И с горечью добавлял: «…помни, что ты больше ничего, как несчастный аптекарь, и вари свои лекарства для храбрых людей, которые отомстят твоим врагам, англичанам, за твое разорение».
Одной из малоизвестных страниц биографии Каржавина является план посылки его конгрессом Соединенных Штатов со специальной дипломатической миссией в С.-Петербург.
Известно, что Каржавин был дружен с К. Беллини, профессором колледжа Вильяма и Мэри, близким другом Томаса Джефферсона. Поэтому вполне возможно, что Беллини в разговоре с Джефферсоном предложил кандидатуру Каржавина для этой миссии. Сведения на сей счет весьма скудны. Сам Каржавин писал об этом проекте родителям в Россию 1 сентября 1785 г.: «Лет тому 6 или 7 будет, как я жил на коште виргинского правительства месяцев 6 в Вильямсберге с намерением быть посланным к российской государыне от американского конгресса, с публичным характером, в то время как они отправляли доктора Франклина к королю французскому полномочным министром. Но обстоятельства военные, некоторые повороты в американских делах, памятование, что я был у Вас в немилости и страх российского министра Панина, ежели бы я, русский человек, послан был к своей государыне в публичном звании от иностранной короны и протчее, причинили мне предпочесть возвратиться на Мартинику на 74-пушечном французском корабле „Фандант“».
Возвращение на Мартинику не обошлось без происшествий: у входа в гавань французскому кораблю пришлось пробиваться с боем через линию английских кораблей. Каржавин пишет: «…сел на корабль, которым командовал маркиз де Водриоль, 25 января 1780 года в Малом Йорке и через 20 дней прибыл в Мартинику, претерпев при въезде в гавань пальбу целого англицкого флота».
С окончанием войны в Америке Ф. В. Каржавин опять вернулся в США и, как прежде, «обосновался в Виргинии». Сначала он жил в Смитфильде, позже поселился в «столице виргинской, городе Вильямсберге». По его собственным словам, «напоследок пробравшись до Виргинии, докторствовал там, купечествовал и был переводчиком языка англо-американского при канцелярии консульства французского».
Н. Н. Болховитинов отмечает, что в то время (как видно из письма Беллини к Каржавину от 1 марта 1788 г.) «в круг виргинских знакомых Ф. В. Каржавина входили такие известные лица, как будущий президент США Д. Мэдисон и один из наиболее просвещенных американцев того времени, профессор колледжа Вильяма и Мэри, Д. Уайз».