В описи кабинета, составленной после его смерти, значатся, например, такие вещи: «зеркало кругловитое небольшое, в котором кажет большое лицо»; «раковин разных больших и малых 99»; «туфли китайские, плетённые из травы»; «гриб каменный»; «тыква индейская»; «кость мамонтовой головы»; «янтари, в которых есть мушки»; коробочка с «маленькой натуральной змейкой» и тому подобные диковины. Некоторым предметам чиновники даже не могли дать определение и писали просто: «некакой фрукт продолговатый», «два мячика некакого фрукта»… Недаром французский посланник Кампредон, советуя в 1721 г. своему правительству, каким образом завоевать расположение Брюса, подчёркивал, что Яков Вилимович не из тех, кого можно подкупить деньгами, и предлагал использовать его собирательский азарт: «Его королевское величество доставил бы ему большое удовольствие, если бы подарил ему гравированное по приказанию покойного короля собрание эстампов королевских дворцов».
В 1697 г. предприимчивый устюжский мужик В.В. Атласов был послан обследовать камчатские земли. Вернувшись в Москву, он привёз с собой маленького желтокожего человека. Атласов забрал его у камчадалов, которые поведали любопытную историю. Года два назад к их берегу прибило большую лодку с незнакомыми людьми. Непривычные к суровому быту и скудной еде камчадалов, чужеземцы быстро умирали. Остался лишь один. В отчёте, составленном в 1701 г., Атласов отмечал: «А нравом тот полонёник гораздо вежлив и разумен». Когда пленник увидел русских землепроходцев, в которых чувствовалась принадлежность к цивилизованному миру, то «зело плакал» от радости. Чужеземец успешно осваивал русский язык. В Москве удалось наконец выяснить, что это – японец. Он был первым японцем, которого увидела Россия. И даже официальные чины не вполне представляли, где находится его страна и что за люди там живут. Атласов в отчёте именовал его «индейцем». В бумагах же Приказа артиллерии его назвали и того хитрее: «Апонского государства татарин именем Денбей».
А энергичный Пётр уже строил далеко идущие планы. Передав Денбея под опеку Приказа артиллерии, царь повелел: «А как он, Денбей, русскому языку и грамоте изучится, и ему, Денбею, учить своему японскому языку и грамоте робят человек 4 или 5». Насчёт вероисповедания Пётр распорядился Денбея не притеснять: «А о крещении в православную христианскую веру дать ему, иноземцу, на волю и его, иноземца, утешать и говорить ему: как он русскому языку и грамоте навыкнет и русских робят своему языку и грамоте научит – и его отпустят в Японскую землю». Но скорее всего Денбею так и не удалось вернуться к родным берегам. Известно, что он со временем крестился под именем Гавриила, а школа переводчиков с японского действовала в Москве до 1739 г.
Брюс, который в качестве главы Приказа артиллерии опекал и «утешал» Денбея, начал грезить Японией. Брауншвейгский резидент в России Ф.-Х. Бебер в своих «Записках» рассказывает, что Брюс мечтал найти путь из России в Японию и послал экспедицию, которая отчалила от дальневосточного побережья на поиски этой неведомой земли, но в бурю погибла. Ещё Вебер сообщал: «У сего Брюса был кабинет китайских редкостей, и он очень сожалел, что невозможно никак приобрести точных сведений о положении и особенностях Китайского государства, потому что наряжаемые туда посольства и все русские купцы не имеют права оставаться там долее 3 или самое большее 4 месяцев».
Пётр давал Брюсу и весьма деликатные поручения: поиск в Европе умов и талантов, которые могли бы послужить процветанию России. В 1711 г. царь отправил его в Берлин «для найму мастеровых людей знатных художеств, которые у нас потребны». Вполне доверяя широким познаниям и деловой экономности Брюса, царь в сопроводительной грамоте писал: «И что он, генерал наш, им в контрактах обещает и заключит, то от нас всё сдержано будет без умаления».
Брюс был возведён в графское достоинство и получил в награду 500 крестьянских дворов. В.Н. Татищев утверждал, что Пётр, желая придать Брюсу более значительности на переговорах, намеревался сделать его действительным тайным советником. Это второй после канцлера чин «Табели о рангах». Но честный и щепетильный Брюс отказался и «сам его величеству представлял, что хотя он подданой, но иноверец, оный чин ему неприличен и может впредь его величеству подать причину к сожалению».
Камер-юнкер Ф.-В. Берхгольц, прибывший в Россию в свите герцога Голштинского, отмечал в своём дневнике, что русский царь оказывал