Аналитика 2.0: аналитика больших данных
В начале 2000-х началась эпоха Аналитики 2.0, открывшая перед нами мир больших данных{3}. Они во многих отношениях были новинкой – зачастую гораздо объемнее и сложнее, чем данные, которые использовались в эпоху Аналитики 1.0, и при этом необязательно так же структурированные. Большие данные могли включать в себя все что угодно – от документов, фотографий и видео до сенсорных данных. Множество больших данных, используемых для анализа, поступают из внешних источников, например социальных сетей. Несмотря на свое внешнее происхождение, они могут оказаться очень ценными.
Сегодня, в эпоху Аналитики 2.0, как видно на рис. 1.2, мы обнаружили, что для обработки больших данных и выполнения разнообразных аналитических процессов нам нужны новые аналитические технологии и новые вычислительные возможности. В результате из забвения на свет вышли такие технологии, как Hadoop (о ней мы расскажем позднее), а аналитические процессы были модернизированы, чтобы соответствовать этим новым технологиям. Основное внимание в эпоху Аналитики 2.0 сосредоточено на поиске наиболее дешевых способов сбора и хранения необработанных данных, а уже затем на поиске способов их применения.
Отчетливо выраженным трендом стало недавнее появление «науки о данных», изучающей способы анализа больших данных профессиональными аналитиками, а также такой профессии, как «исследователи данных». Основное различие между ними и традиционными профессиональными аналитиками состоит в выборе инструментов и платформ, используемых для анализа. Традиционные профессиональные специалисты в крупных организациях склонны использовать такие инструменты, как SAS и SQL, для анализа базы данных в окружении реляционной базы данных. Исследователи данных чаще применяют такие инструменты, как R и Python, для анализа данных в окружении Hadoop. Тем не менее эти различия носят тактический и в основном семантический характер. Любой специалист, хорошо разбирающийся в том или другом окружении, легко может переключаться между ними. Несмотря на разные наименования, профессиональные аналитики обладают практически одинаковыми базовыми наборами навыков и складом ума. (Подробнее мы обсудим эту тему в восьмой главе.)
В эпоху Аналитики 2.0 профессиональные аналитики хотя и не были включены в процесс принятия решений, но повысили свой статус в организациях до такого уровня, что могут напрямую влиять на принимающих решения лиц. Профессиональные аналитики перестали быть секретным ресурсом, тщательно огражденным от бизнес-сообщества.
Как мы увидим далее в этой главе, многие организации, особенно фирмы, работающие онлайн и в области электронной коммерции, начали разрабатывать коммерческие продукты и услуги, основанные исключительно на данных и аналитике. Первыми это предприняли онлайновые фирмы, они же первыми вступили в эпоху Аналитики 2.0. Одним из самых примечательных примеров является социальная сеть LinkedIn, создавшая такие продукты, как «Люди, которых вы можете знать» и «Группы, которые вам могут понравиться». Такие основанные на аналитике продукты используют информацию, собираемую в рамках управления и поддержания аккаунтов пользователей, и генерируют новую информацию, за которую во многих случаях пользователи платят.
Один из парадоксов Аналитики 2.0 состоит в том, что производимая аналитика зачастую оказывается не очень-то и продвинутой. Отчасти это было обусловлено тем, что объем и сложность данных затрудняют их перевод в пригодный для анализа формат. Отчасти объясняется незрелостью источников данных и аналитических инструментов. При всем поднятом вокруг нее ажиотаже эпоха Аналитики 2.0 по-прежнему в значительной степени опирается на отчетность и описательную аналитику с относительно малыми вкраплениями прогностической и предписывающей аналитики.
3
Подробнее об этом вы можете прочитать в моей книге «Укрощение больших данных» (Bill Franks,