Эра больших данных. Часть первая

Сокращенный оригинальный перевод статьи Steve Lohr в New York Times

Наступила эпоха больших данных. Согласно докладу McKinsly в ближайшие годы Соединенным Штатам потребуется от 150 до 190 тысяч специалистов по большим данным и их интеллектуальному анализу. Специалисты будут требоваться не только в бизнесе. Сегодня интеллектуальный анализ больших данных вышел далеко за предел деловой сферы.

Одним из наиболее известных молодых политологов является Джастин Гример, 28-летний исследователь из Стэнфорда, который объединил математику и политическую науку. Его исследования базируются на обработке больших данных, включая структурированную и неструктурированную информацию из соцсетей, блогов, форумов, выступлений в Конгрессе, новостных порталов. Суть его работы состоит в том, чтобы определить, как действуют прямые и обратные связи, выражающиеся в тех или иных политических решениях, между людьми в Конгрессе и их избирателями.

Интеллектуальный анализ больших данных на наших глазах меняет такие разнообразные области, как наука и спорт, реклама и общественное здравоохранение, история и маркетинг, планирование досуга и конкурентная разведка. Гарвардский университет в прошлом годы открыл институт количественных социальных наук. Его директор Гарри Кинг говорит: « Это революция, и она только началась. Эта революция стала реальностью благодаря возможности обработки огромного количества источников данных самого различного формата, как структурированных, так и неструктурированных, как вычислимых, так и невычислимых».

По мнению участников Всемирного экономического форума в Давосе, те, кто оседлает тему интеллектуального анализа больших данных, станут хозяевами информационного пространства. Этой теме был посвящен специальный доклад на Форуме «Большие данные – большое влияние» Ключевой вывод доклада – цифровые активы становятся не менее значимым экономическим активом, чем золото или валюта.

Что такое большие данные? Это не просто мем или маркетинговый термин. Это – принципиально новый подход к анализу и синтезу, принятию решений и прогнозированию. Этот подход базируется на интеллектуальном анализе огромных массивов информации всех видов, включая числовую, текстовую, аудио, видео, сигналы о состоянии тех или иных устройств и приборов, а в будущем и психофизиологическом состоянии отдельного человека.

Согласно исследованиям крупнейших компаний, объем данных удваивается в течение каждых двух лет. Все большую долю в этих данных составляют данные от бесчисленного числа цифровых датчиков, установленных на промышленном оборудовании, автомобилях, бытовой технике, в квартирах, мобильных устройствах и т.п.

Одновременно, лавинообразно развивается процесс открытия данных государственными учреждениями, научно-техническими и учебными центрами во всем мире. Улучшение доступа к информации, расширение пространства открытых данных  являются сегодня ключевым информационным трендом интернета.

Другим трендом стало резкое увеличение возможности обработки и анализа неструктурированных данных всех форматов. Если еще несколько лет назад под базами данных имелась в виду исключительно структурированная информация, то сегодня общедоступными стали программные решения, позволяющие в рамках одной платформы получать, хранить, обрабатывать, анализировать структурированную и неструктурированную информацию в самых различных форматах, используя для этого алгоритмы понимания естественных языков, распознавания образов, машинного обучения и т.п.

Чтобы понять потенциальное воздействие больших данных на человека можно воспользоваться метафорой микроскопа. Профессор Слоановской школы бизнеса MTI E.Brynjolfsson  сказал: «Микроскоп четыре века назад позволил людям увидеть то, что они никогда не видели. В итоге родилась современная медицина. Интеллектуальная обработка больших данных – это современный эквивалент микроскопа. В бизнесе, экономике и других областях решения теперь будут опираться не только на опыт и интуицию, но и на анализ и прогнозирование на основе больших данных».

Самый известный широкой публике пример использования больших данных связан с книгой Майкла Льюиса «Moneyball» и прошлогодней ее экранизацией с Брэдом Питтом в главной роли. Книга описывает реальный случай, как малобюджетная оклендская команда по бейсболу, опираясь на помощь местного университета, смогла в итоге стать чемпионом лиги. Секрет состоял в том, что исследовательская лаборатория обрабатывала большие данные обо всех командах, матчах и игроках лиги. В итоге провинциальная команда была укреплена недооцененными игроками, а план на каждую игру строился с учетом детального цифрового портрета противника.

Исследования, проведенные профессором E.Brynjolfsson  и двумя его коллегами в прошлом году, показали, что анализ и прогнозирование на основе больших данных берется на вооружение корпоративной Америкой. Они изучили 179 крупных компаний  и обнаружили, что те из них, кто взял в последние год-полтора на вооружение интеллектуальный анализ больших данных получил немедленное улучшение экономических показателей на 5-6%. С учетом оборота и размеров этих компаний это очень и очень много и показывает сумасшедшую рентабельность вложений в интеллектуальный анализ больших данных.