Начало коллекционирования Владимира Николаевича напоминало начало коллекционирования Сережи Дягилева. И на сей раз дело началось с пустяков, с обстановки. Ютился Аргутинский первые годы в небольших квартирках, совершенно ничего в себе декоративного и барского не имевших. Он вполне мирился с этим, а деньги, которые ему присылали его очень состоятельные родители из Тифлиса, он тратил на одежду (он одевался со скромной, но дорогостоящей элегантностью и даже многое заказывал в Лондоне), на спектакли, на хозяйство и, наконец… на „лихача“. Вот за этого лихача ему особенно попадало от друзей; было действительно странно, что этот человек, отворачивавшийся от всяких проявлений пошлой фанаберии, все же, точно кутящий купчик, разъезжал по городу не иначе как на таком наемном вознице, бросавшем пыль в глаза, будто это „собственный“ кучер… Лишь с момента своего переезда на ультра-аристократическую Миллионную улицу Владимир Николаевич начинает обставляться на более изысканный лад и постепенно превращается в настоящего, одержимого всепоглощающей страстью собирателя. Цель, которую он ставил себе, была двоякая: надлежало из данной квартиры с ее высокими потолками и окнами создать нечто очень парадное и дающее иллюзию старины; в то же время он хотел собрать все, что можно было, из картин, рисунков и всякой декоративной мелочи, что со временем могло бы послужить значительным обогащением наших музеев, и главным образом – Русского музея Александра III. Увлекаясь такой сложной задачей, Владимир не щадил затрат и постоянно влезал в долги» (А. Бенуа. Мои воспоминания).
«У Дягилева я видел Аргутинского всегда молчаливым и серьезным, редко принимавшим участие в разговоре. Он не написал ни строчки в журнале, но все привыкли считаться с его оценками и дорожили его мнением. У него были большие знания в области старинной живописи, особенно русской, и все признавали его безукоризненный вкус… Он был в истинном значении слова „просвещенный любитель искусств“ и обладал богатейшей коллекцией рисунков старых мастеров и гравюр, главным образом XVIII в., и совершенно замечательным собранием редчайшего русского фарфора. Аргутон, как мы про себя его звали, был несколько моложе Дягилева и Бенуа, довольно плотный, широкоплечий, с маленькими усиками и со спокойными, даже ленивыми манерами. Одевался он с классической английской скромностью. Вкус его был весьма строг и взыскателен вообще, а в отношениях к людям его требовательность часто доходила до педантизма и немало забавляла и немало и огорчала друзей. При всех этих маленьких недостатках он был необыкновенно верный и преданный друг (даже „рыцарь“ – случаев было очень много) тому, кого он полюбил или в кого он навсегда поверил. Он очень мало кого приглашал к себе. Дамы же бывали совсем редко. Я любил бывать в его маленькой квартире на Миллионной. Обычные его посетители были Бенуа, Нувель, Сомов и Яремич. Квартира была верх изящества, на стенах висели превосходные картины, портреты и натюрморты XVII и XVIII вв., на камине в углу была горка с его знаменитым фарфором, горели свечи в старинных канделябрах и бра, и был невероятный хаос – кучами лежали всюду книги, гравюры и папки, и рыться во всем этом было большое наслаждение. Приглашения получались такие: „Милый друг, приходите сегодня ко мне, но не раньше 12 ночи“. Он служил в министерстве иностранных дел и был камер-юнкером, но никакой карьеры не делал» (М. Добужинский. Воспоминания).