На протяжении ряда лет, работая над своим исследованием, мы туда регулярно приходили. Мы были единственными, кто вытаскивал эти книги с полок за много лет, а то и десятилетий. Никого, кроме нас, не интересовала эта полка.
В один прекрасный день мы заметили, что книга, которой мы регулярно пользовались в своих исследованиях, появилась в Интернете как часть проекта Google Books. Заинтересовавшись, мы начали искать там и другие книги с нашей полки. Оказалось, что и они там уже есть. И дело вовсе не в том, что корпорацию Google так сильно заботит средневековая английская грамматика. В сущности, почти у каждой из проверенных нами книг, вне зависимости от полки, теперь появился цифровой близнец[27]. За то время, которое нам потребовалось для изучения нескольких книг, Google успела оцифровать содержимое нескольких зданий.
Усилия компании Google позволяли получить совершенно новый тип больших данных и даже изменить то, как люди оценивают свое прошлое. В основном большие данные являются большими, но «короткими» – это недавние записи, фиксирующие недавние события. Это связано с тем, что создание данных катализируется Интернетом, сравнительно недавним изобретением. Наша цель состояла в изучении культурных изменений, которые могут охватывать длительные периоды времени по мере того, как целые поколения людей живут и умирают. Когда речь заходит об изучении изменений в историческом масштабе, короткие данные, вне зависимости от степени своей обширности, нам мало чем помогут.
Google Books как база данных по своему масштабу не превышает любую другую базу в нашу эпоху цифровых средств передачи и хранения информации. Однако значительная часть того, что оцифровывает Google, не связана с современностью – в отличие от электронной почты, RSS-фидов и онлайновых игр, книги уходят в глубину веков. Поэтому данные проекта Google Books – это не просто большие, а еще и длинные данные[28].
Поскольку в книгах содержатся длинные данные, оцифрованные книги не ограничиваются описанием современной жизни, в отличие от большинства других больших массивов данных. Книги могут показать нам, как менялась наша цивилизация на протяжении довольно больших периодов времени – превышающих не только человеческую жизнь, но и жизни целых государств.
Книги представляют собой отличный массив данных еще и вот почему. Они охватывают широкий круг тем и демонстрируют различные точки зрения.
Об изучении масштабной коллекции книг можно думать как об изучении большого количества людей, многие из которых к моменту изучения уже мертвы. В исследованиях по истории и литературе книги, относящиеся к определенному времени и месту, становятся чуть ли не самыми важными источниками информации об этом времени и месте.
Это заставило нас предположить, что, изучив через цифровую линзу книги проекта Google, мы сможем создать новый «скоп» для изучения человеческой истории. И мы знали – сколько бы времени ни потребовалось, мы сможем изучить эти данные.
Больше данных – больше проблем
С большими данными появляются не только новые возможности для понимания окружающего мира, но и новые научные проблемы[29].
Первая серьезная проблема заключается в том, что большие данные и данные, которыми оперируют ученые, структурированы совершенно по-разному. Ученые предпочитают отвечать на тщательно сформулированные вопросы с помощью элегантных экспериментов, дающих воспроизводимые и точные результаты. Однако большие данные часто сопровождаются неразберихой. Типичный массив больших данных представляет собой смесь фактов и измерений, сделанных без какой-либо научной цели и с использованием далеко не универсальных процедур. Он изобилует ошибками и огромным количеством пугающих пробелов – например, недостающими элементами информации, важными для любого разумного ученого. Такие ошибки и упущения часто непоследовательны, даже в рамках единого массива данных. Это связано с тем, что большие массивы данных часто создаются путем объединения большого количества более мелких массивов данных. Очевидно, что некоторые из компонентов массивов данных более надежны, чем другие, и у каждого из них есть свои особенности. Хорошим примером может служить социальная сеть Facebook. Добавление людей «в друзья» может означать совершенно разное для разных людей. Кто-то делает это довольно свободно. Кто-то более осторожен. Некоторые добавляют в друзья коллег, другие этого не делают. Отчасти работа с большими данными как раз и требует, чтобы их хорошо понимали и учитывали все подобные особенности. Но настолько хорошо можно быть знакомым с петабайтом данных?
27
См., к примеру, оцифрованное издание книги Klipstein Louis F. Grammar of the Anglo-Saxon Language. New York: George P. Putnam, 1848, доступно в сети Интернет: http://goo.gl/cWRlJ. Стоит отметить, что из юридических и этических опасений Гарвард принял решение выйти из программы
28
Этот термин не так давно предложен исследователем социальных сетей Сэмюелем Арбесманом. См. Arbesman Samuel. Stop Hyping Big Data and Start Paying Attention to Long Data // Wired (29 января 2013 г.), доступно в сети Интернет: http://goo.gl/X7oEC.
29
Хотя лучшие эмпирические массивы данных малодоступны, социальные сети остаются довольно перспективным полем для исследований. См., к примеру: Watts Duncan J., Strogatz Steven H. Collective Dynamics of «Small-World» Networks // Nature 393, no. 6684 (1998). P. 440–442. Доступно в сети Интернет: http://goo.gl/be3Xmi; Barabаsi Albert-Lаszlу, Albert Reka. Emergence of Scaling in Random Networks // Science 286, no. 5439 (1999). P. 509–512. Доступно в сети Интернет: http://goo.gl/eESUa8; Milo Ron et al. Network Motifs: Simple Building Blocks of Complex Networks // Science 298, no. 5594 (2002). P. 824–827.