Эра больших данных. Часть первая
Сокращенный оригинальный перевод статьи Steve Lohr в New York Times
Наступила эпоха больших данных. Согласно докладу McKinsly в ближайшие годы Соединенным Штатам потребуется от 150 до 190 тысяч специалистов по большим данным и их интеллектуальному анализу. Специалисты будут требоваться не только в бизнесе. Сегодня интеллектуальный анализ больших данных вышел далеко за предел деловой сферы.
Одним из наиболее известных молодых политологов является Джастин Гример, 28-летний исследователь из Стэнфорда, который объединил математику и политическую науку. Его исследования базируются на обработке больших данных, включая структурированную и неструктурированную информацию из соцсетей, блогов, форумов, выступлений в Конгрессе, новостных порталов. Суть его работы состоит в том, чтобы определить, как действуют прямые и обратные связи, выражающиеся в тех или иных политических решениях, между людьми в Конгрессе и их избирателями.
Интеллектуальный анализ больших данных на наших глазах меняет такие разнообразные области, как наука и спорт, реклама и общественное здравоохранение, история и маркетинг, планирование досуга и конкурентная разведка. Гарвардский университет в прошлом годы открыл институт количественных социальных наук. Его директор Гарри Кинг говорит: « Это революция, и она только началась. Эта революция стала реальностью благодаря возможности обработки огромного количества источников данных самого различного формата, как структурированных, так и неструктурированных, как вычислимых, так и невычислимых».
По мнению участников Всемирного экономического форума в Давосе, те, кто оседлает тему интеллектуального анализа больших данных, станут хозяевами информационного пространства. Этой теме был посвящен специальный доклад на Форуме «Большие данные – большое влияние» Ключевой вывод доклада – цифровые активы становятся не менее значимым экономическим активом, чем золото или валюта.
Что такое большие данные? Это не просто мем или маркетинговый термин. Это – принципиально новый подход к анализу и синтезу, принятию решений и прогнозированию. Этот подход базируется на интеллектуальном анализе огромных массивов информации всех видов, включая числовую, текстовую, аудио, видео, сигналы о состоянии тех или иных устройств и приборов, а в будущем и психофизиологическом состоянии отдельного человека.
Согласно исследованиям крупнейших компаний, объем данных удваивается в течение каждых двух лет. Все большую долю в этих данных составляют данные от бесчисленного числа цифровых датчиков, установленных на промышленном оборудовании, автомобилях, бытовой технике, в квартирах, мобильных устройствах и т.п.
Одновременно, лавинообразно развивается процесс открытия данных государственными учреждениями, научно-техническими и учебными центрами во всем мире. Улучшение доступа к информации, расширение пространства открытых данных являются сегодня ключевым информационным трендом интернета.
Другим трендом стало резкое увеличение возможности обработки и анализа неструктурированных данных всех форматов. Если еще несколько лет назад под базами данных имелась в виду исключительно структурированная информация, то сегодня общедоступными стали программные решения, позволяющие в рамках одной платформы получать, хранить, обрабатывать, анализировать структурированную и неструктурированную информацию в самых различных форматах, используя для этого алгоритмы понимания естественных языков, распознавания образов, машинного обучения и т.п.
Чтобы понять потенциальное воздействие больших данных на человека можно воспользоваться метафорой микроскопа. Профессор Слоановской школы бизнеса MTI E.Brynjolfsson сказал: «Микроскоп четыре века назад позволил людям увидеть то, что они никогда не видели. В итоге родилась современная медицина. Интеллектуальная обработка больших данных – это современный эквивалент микроскопа. В бизнесе, экономике и других областях решения теперь будут опираться не только на опыт и интуицию, но и на анализ и прогнозирование на основе больших данных».
Самый известный широкой публике пример использования больших данных связан с книгой Майкла Льюиса «Moneyball» и прошлогодней ее экранизацией с Брэдом Питтом в главной роли. Книга описывает реальный случай, как малобюджетная оклендская команда по бейсболу, опираясь на помощь местного университета, смогла в итоге стать чемпионом лиги. Секрет состоял в том, что исследовательская лаборатория обрабатывала большие данные обо всех командах, матчах и игроках лиги. В итоге провинциальная команда была укреплена недооцененными игроками, а план на каждую игру строился с учетом детального цифрового портрета противника.
Исследования, проведенные профессором E.Brynjolfsson и двумя его коллегами в прошлом году, показали, что анализ и прогнозирование на основе больших данных берется на вооружение корпоративной Америкой. Они изучили 179 крупных компаний и обнаружили, что те из них, кто взял в последние год-полтора на вооружение интеллектуальный анализ больших данных получил немедленное улучшение экономических показателей на 5-6%. С учетом оборота и размеров этих компаний это очень и очень много и показывает сумасшедшую рентабельность вложений в интеллектуальный анализ больших данных.
Прокомментировать
Последние записи
- Рецензия на книгу Р.В.Ромачева «История частной разведки США»
- Новое на блоге
- Воспоминание о будущем — 2050
- Новая среда обитания
- Главная технология ближайшего будущего. Битва за кванты
Архивы
- Март 2022
- Февраль 2022
- Март 2021
- Январь 2021
- Декабрь 2020
- Ноябрь 2020
- Октябрь 2020
- Сентябрь 2020
- Август 2020
- Июнь 2020
- Май 2020
- Апрель 2020
- Март 2020
- Февраль 2020
- Январь 2020
- Декабрь 2019
- Ноябрь 2019
- Август 2019
- Июль 2019
- Май 2019
- Апрель 2019
- Март 2019
- Февраль 2019
- Декабрь 2018
- Октябрь 2018
- Сентябрь 2018
- Август 2018
- Июль 2018
- Июнь 2018
- Апрель 2018
- Март 2018
- Январь 2018
- Декабрь 2017
- Ноябрь 2017
- Октябрь 2017
- Сентябрь 2017
- Август 2017
- Июль 2017
- Июнь 2017
- Май 2017
- Апрель 2017
- Март 2017
- Февраль 2017
- Январь 2017
- Декабрь 2016
- Ноябрь 2016
- Октябрь 2016
- Сентябрь 2016
- Август 2016
- Июль 2016
- Июнь 2016
- Май 2016
- Апрель 2016
- Март 2016
- Февраль 2016
- Январь 2016
- Декабрь 2015
- Ноябрь 2015
- Октябрь 2015
- Сентябрь 2015
- Август 2015
- Июль 2015
- Июнь 2015
- Май 2015
- Апрель 2015
- Март 2015
- Февраль 2015
- Январь 2015
- Декабрь 2014
- Ноябрь 2014
- Октябрь 2014
- Сентябрь 2014
- Июль 2014
- Июнь 2014
- Май 2014
- Апрель 2014
- Март 2014
- Февраль 2014
- Январь 2014
- Декабрь 2013
- Ноябрь 2013
- Октябрь 2013
- Сентябрь 2013
- Август 2013
- Июль 2013
- Июнь 2013
- Май 2013
- Апрель 2013
- Март 2013
- Февраль 2013
- Январь 2013
- Декабрь 2012
- Ноябрь 2012
- Октябрь 2012
- Сентябрь 2012
- Август 2012
- Июль 2012
- Июнь 2012
- Май 2012
- Апрель 2012
- Март 2012
- Февраль 2012
- Январь 2012
- Декабрь 2011
- Ноябрь 2011
- Октябрь 2011
- Сентябрь 2011
- Август 2011
- Июль 2011
- Июнь 2011
- Май 2011
- Апрель 2011
- Март 2011
- Февраль 2011
- Январь 2011
- Декабрь 2010