Янв
13

Большие данные меняют общество

Алекс Пентланд недавно включен журналом «Форбс» в число семи самых влиятельных исследователей в области информационных технологий. Он руководит несколькими лабораториями в знаменитом МТИ, входит в число советников нескольких компаний из списка Форчун 500, консультирует правительство США.

Предлагаемая вашему вниманию статья Алекса Пентланда опубликована ресурсом http://www.liberty.ru и сразу же стала одной из наиболее цитируемых среди международных авторитетных деловых и информационных ресурсов. В ней, пожалуй, наиболее полно передана суть «больших данных» и тех изменений, которые они вносят в общество, политику и бизнес.


Алекс ПЕНТЛАНД

Перевод Андрея Азарина.

Похоже, что в последнее время я стал знаменитостью в Массачусетском технологическом институте (далее – МТИ), важным экспертом в области “больших данных”. Тим О-Рейлли и журнал “Форбс” даже назвали меня одним из семи самых влиятельных ученых в области информационных технологий. Я не очень понимаю, что все это значит, но у меня действительно есть особый подход к концепции “больших данных” и, возможно, как раз это люди и хотят услышать.

Я уверен, что значение “больших данных” состоит в том, что они дают информацию о поведении людей, а не об их убеждениях. Речь идет о поведении покупателей и сотрудников компаний, а также о том, какое значение это может иметь для вашего бизнеса.

“Большие данные” предлагают информацию о множестве конкретных вещей, например, геолокации абонентов сотовой связи и использовании кредитной карты, это мелкие элементы навигационной цепочки, которую люди оставляют за собой наподобие мусора. По этому “мусору” можно проследить историю нашей жизни. Он расскажет, что мы выбрали на самом деле. Вот почему это существенно отличается от информации, которую мы можем написать на стене Фейсбука. Что мы пишем в социальных сетях – это лишь отражение наших мыслей, которыми мы хотели бы поделиться, отредактированные в соответствии с действующими стереотипами. В противовес этому информация о нашем местонахождении, досуге, покупках – “большие данные” – имеют дело с тем, что мы есть на самом деле. Проанализировав эту информацию, социологи смогут рассказать очень многое. Например, они смогут сказать, какова вероятность того, что тот или иной человек заплатит по долгам или заболеет диабетом.

Они смогут это сделать, потому что социальный контекст во многом позволяет определить характер личности. Наблюдая за отдельными поступками, ученые смогут сделать умозаключения относительно всего остального просто на основе сравнения с другими представителями той же самой социальной группы. Можно будет многое рассказать об отдельных чертах характера индивида, даже в том случае, если этих подробностей не содержится в самих “больших данных”, поскольку люди так плотно вплетены в ткань окружающего их социума, что одно это уже определяет все виды взглядов и поступков, которые они считают нормальными, а также поведение, которое они копируют друг у друга.

Как следствие, анализ “больших данных” в основном представляет собой отслеживание социальных связей: ваших связей с окружающими, а также взаимосвязей между поведением и его последствиями. Это применимо ко всем сферам жизни.

К примеру, одно из направлений исследования “больших данных” связано с финансовой информацией. Причем речь идет не только о таких больших событиях как Великая депрессия, но и о всех других возможных финансовых неурядицах. В конечном итоге, речь идет о системах, состоящих из людей, их связей, их решений, которые могут привести к тем или иным негативным последствиям. “Большие данные” позволяют выстроить причинно-следственные цепочки, позволяющие понять эти события. “Большие данные” дают нам возможность разобраться, как работают связи из людей и машин, определить их надежность.

Ключевым здесь является понимание важности связей между людьми. Раньше ученые стремились объяснить такие феномены как финансовые пузыри посредством науки о поведении сложных систем, а также через науки о социальных сетях. Эти устаревшие методы исследования “больших данных” оставляли человека за рамками. Теперь же становится понятно, что связь людей и устройств оказывает огромное влияние на современные финансовые рынки, госучреждения, частные компании и другие социальные структуры.

Исходя из понимания важности таких связей мы совместно с Асу Оздагларом недавно создали специальный Центр МТИ по исследованиям в этой области. Это один из самых первых исследовательских центров, чья деятельность распространяется на все департаменты и факультеты МТИ, потому что люди самых разных специальностей приходят к нам, чтобы понять как важны связи между людьми для рационального функционирования транспортных систем, эффективности потребления энергии, стабильности финансовых систем, которые не ограничиваются лишь правилами и алгоритмами, но включают в себя и человеческий фактор.

В верном понимании систем, состоящих из людей и устройств, залог стабильности и безопасности социальных структур в будущем. Используя человека в качестве смыслового центра систем, мы выходим за рамки всех действовавших до этого социальных наук. Миссия “больших данных” состоит в подлинном понимании систем, лежащих в основе нашего технологического общества. Это надежда на построение финансовых систем, которые не обваливаются, правительств, которые не погрязают в коррупции, по-настоящему эффективных систем здравоохранения и т.д., и т.п.

Вопреки расхожим представлениям, преградами на пути к более совершенным социальным структурам являются не скорость и объем передачи данных. Проблема состоит в том, чтобы понять, как правильно анализировать связи между людьми в этом неизмеримом потоке информации.

Изменить способ построения систем

На фоне “больших данных” традиционные способы конструирования социальных структур выглядят неполными. Информации стало настолько много, что на любой вопрос можно получить статистически обоснованный ответ. Удивительно, но это делает научный метод в том виде, в каком мы его привыкли применять, неработоспособным, потому что существенным становится все подряд! Многовековые традиционные исследовательские методологии, построенные на лабораторном анализе, отныне нельзя считать адекватными.

Понятие “больших данных” и наука о сетях находятся за гранью обычных подходов к проектированию социальных структур. Фундаментом нашего мира являются столетия научных изысканий, благодаря которым все существующие способы построения систем, правительств, организаций и т.п. имеют точные определения. Открыть что-то новое в рамках этой парадигмы практически невозможно. Однако с приходом эпохи “больших данных” мы в скором времени будем вынуждены играть далеко за пределами знакомой нам площадки.

“Большие данные” могут ввести исследователей в заблуждение, выводя на поверхность ложные совпадения. Например, утверждение “люди, которые по понедельникам едут на работу, чаще подвержены простудным заболеваниям”, вероятно, сможет найти подтверждение и в условиях применения традиционных методов сбора данных. Но нам не дано знать, это правило или случайное совпадение? Обычные методы анализа не позволяют ответить на этот вопрос. Однако в скором времени у нас будут инструменты для достоверной проверки причинно-следственных связей совпадений в реальной жизни, которые серьезно превзойдут все имевшиеся ранее. Мы больше не будем полагаться на результаты лабораторных исследований, мы сможем экспериментировать в реальном мире.

Отдельной проблемой “больших данных” является человеческое сознание. Как только обнаруживается совпадение, которое может быть использовано при проектировании социальных структур, необходимо будет донести до людей его смысл. Нужно разъяснить собственникам и управленцам, что может означать это совпадение. Возникнет потребность в установлении диалога между человеческой интуицией и информацией, полученной благодаря “большим данным”. В современных системах управления такая задача не ставится. Пока еще наши менеджеры не знакомы с принципами анализа информации “больших данных”, недооценивают ее значение и не знают, стоит ли ей доверять.

В действительности даже сами ученые, занимающиеся исследованиями в этой области, еще не выработали концепции “больших данных”. И это тоже одна из проблем. Мне недавно довелось читать исследование, в котором утверждалось, что от 70% до 80% информации машинного самообучения, которая является важным источником пополнения “больших данных”, является некорректной, поскольку исследователи, закладывавшие ее, делали выводы, основанные на ложных предпосылках. Они не смогли установить связь между интуитивным восприятием и причинно-следственной природой проходящих процессов. Вместо этого ученые просто “вписались” в действующую методологию, получили интересные цифры и с радостью их опубликовали, а их читатели не заметили подвоха. Это довольно-таки прискорбно, потому что если мы начнем строить наш мир, основываясь на такой ненадежной информации, мы закончим тем, что поезда будут врезаться в стены или еще во что похуже. Потому что умение управлять информацией, полученной благодаря “большим данным”, радикально все изменяет.

В прошлом году в Давосе я провел несколько круглых столов по проблематике “больших данных” с топ-менеджерами крупнейших компаний, работающих в сфере компьютерных технологий. В ходе этих встреч стало ясно, что на свет появляется совершенно революционный подход к информации. Представители некоторых компаний, например, “Палантир” или “ТИБКО”, уже добились определенных успехов на данном направлении, однако для большинства присутствовавших “большие данные” – это что-то неслыханное, за чем они еще не поспели.

Другой важной проблемой для “больших данных” является сложность их получения, потому что они напрямую связаны с частной информацией. На практике использование “больших данных” позволит вторгаться в частную жизнь настолько, что даже Большой Брат из романа Оруэлла покажется весьма невинным персонажем.

На протяжении нескольких предшествующих лет я помогал проводить круглые столы в рамках Всемирного экономического форума по проблемам использования индивидуальных данных и прав собственности на информацию. В результате, к большой удаче, было заключено так называемое “Новое соглашение о данных”. Председатель Федеральной комиссии по торговле США, который входил в эту группу, выдвинул предложение принять закон о защите персональных данных, а комиссар по вопросам юстиции ЕС объявил, что отдельные положения “соглашения” будут включены в список основополагающих прав человека.

Все эти правовые декларации наделяют индивидов большими возможностями по защите относящейся к ним информации. Это важный шаг на пути создания безопасной и прозрачной системы исследования “больших данных”, который делает информацию более полной и доступной благодаря тому, что люди теперь сами смогут принимать решения в отношении персональных данных. Это значительный прогресс по сравнению с действующей практикой хранения информации в архивных бункерах компьютерной индустрии, когда никто даже не знает о ее существовании.

Как ошибались Адам Смит и Карл Маркс

Проблемы, связанные с исследованием “больших данных”, безусловно, важны и сами по себе. Однако впереди нас ожидают совершенно неслыханные открытия. Если задуматься о тех изменениях, которые совершат с обществом “большие данные”, то станет очевидно, как наше мышление об обществе радикально поменяется.

Адам Смит и Карл Маркс ошибались, или, по меньшей мере, предлагали только половинчатые решения. Почему? Потому что они строили свои теории на основе усредненных понятий рынка и классов. И хотя, безусловно, рассуждение в таких терминах тоже может быть полезным, однако очевидно, что социальные феномены на деле состоят из миллионов мелких транзакций между индивидами. Существуют отдельные примеры межличностных взаимодействий, которые не просто не укладываются в усредненные параметры, а являются причиной социальных вспышек и потрясений, таких как Арабская весна. Придется снизойти до этих мельчайших примеров, этих микропримеров, потому что они позволяют понять социальное устройство вне усредненных показателей. Мы вступаем в новую эру социальной физики, где решающий исход будет зависеть от самых мелких деталей, от таких мелочей, как ты да я.

Понимание теории рынка и классов может дать вам только общее, половинчатое понимание ситуации, но теперь, благодаря “Большим данным”, нам открываются частности, которые позволят разобраться в оставшейся половине. Потенциально мы будем способны создавать более справедливые, стабильные и эффективные компании, организации и сообщества. Все это на основе настоящего понимания нюансов физики межчеловеческого взаимодействия. Эта новая вычислительная наука открывает невероятные возможности.

Впервые в человеческой истории мы получим возможность узнать о себе все, что необходимо, чтобы построить социальные системы, качественно отличающиеся от всех, существовавших прежде. Это настоящие перемены. Это новый этап, сравнимый с изобретением письменности, становлением системы всеобщего образования и соединения людей посредством Интернета.

Сам факт того, что мы теперь сможем отслеживать динамику социальных взаимодействий и их происхождение, что мы больше не будем ограничены усредненными показателями, такими как рыночные индексы, вызывает во мне трепет. Мы будем способны предсказывать и управлять поведением рынков и возникновением революций. Как и дар Прометея, эту способность можно направить как во благо, так и во зло. Но одно ясно – эра “больших данных” будет весьма интересной, и она заставит нас переосмыслить само понятие общества.

Создание социума на основе “больших данных”

Один из величайших вопросов современности состоит в следующем: на чьей стороне будет новый мир, основанный на “больших данных”, и как он будет выглядеть? Люди интересуются, будет ли он только для участников Давоса или для всех остальных? Этот вопрос волнует всех уже сейчас, потому что он – о ценностях и этике. Я настаиваю на необходимости такого обсуждения. Отрадно, что все дискуссии в рамках Давоса, в которых мне приходилось принимать участие, имели отчетливый характер равноправия: большинство заступается за бедных, многие представляют развивающиеся страны (их присутствие значительно, а вовсе не формально). Люди действительно заинтересованы в строительстве устойчивого будущего, при котором значительной части населения планеты не придется испытывать нужду. Безусловно, такая повестка не может заинтересовать всех, но большинство ее разделяет.

Важно понять, что ваши индивидуальные данные приобретают большую стоимость, если вы решите ими поделиться, потому что это позволит создать такие социальные системы, как общественное здравоохранение. Информация о том, что вы делаете и куда ходите, например, может помочь остановить распространение опасной инфекции. Если у вас есть дети, вы, естественно, не хотели бы, чтобы они умерли от птичьего гриппа. Но как вы сможете это предотвратить? Выясняется, что существует возможность в реальном времени наблюдать за поведением людей, чтобы определить, когда тот или иной индивид заболевает. Наблюдая за распространением инфекции от человека к человеку, на индивидуальном уровне, можно остановить этот процесс. Итак, теперь можно начать создавать мир, в котором инфекции не представляют серьезной угрозы.

Если вы, например, обеспокоены глобальным потеплением, необходимо установить взаимосвязь между перемещениями ресурсов и производительностью труда (мы сейчас проводим потрясающие исследования в этой области), после чего появится возможность спроектировать более эффективные, более человечные города, для жизнеобеспечения которых потребуется в разы меньше энергии. Чтобы добиться таких результатов потребуются данные о переездах людей. Вот пример того, как распространение индивидуальной информации может оказать вам неоценимую услугу. Если каждый поделится данными о своих перемещениях, мы сможем создать более экологичный мир, сама ценность которого будет намного выше, чем если пытаться заработать на продаже этих данных.

Однако пока еще эти данные спрятаны за семью печатями и недоступны для изучения. Это была одна из причин, по которым я предложил заключить “Новое соглашение о данных” в рамках Всемирного экономического форума. С тех пор эта идея обсуждалась на множестве площадок и вылилась в принятие закона о защите персональных данных в США и декларации о правах на информацию в ЕС. Проблема в том, что когда данные спрятаны, мы не знаем, используются ли они во благо или во зло. А хотелось бы, чтобы они использовались именно во благо. Нам нужно остановить инфекции, нам нужен более экологичный мир, нам нужен более честный мир.

Кому принадлежит информация в информационном обществе?

Как нам извлечь информацию из закромов на поверхность? Первое, что нужно понять – кому она принадлежит. Телефонным компаниям просто на том основании, что они смогли ее собрать в тот момент, когда вы взяли свой телефон на прогулку? Может быть, у них и есть какие-то права на ее использование. Но в ходе упомянутых дискуссий все участники, в том числе и телефонные компании, соглашались с тем, что право собственности на личную информацию принадлежит индивиду. Компании могут иметь право хранить копии собранных данных, чтобы предложить услуги, которые вам потребуются, но конечное решение должно оставаться за вами.

В некоторых случаях, конечно же, все немного сложнее. Что если под “информацией” понимаются ваши расчеты с продавцом? В таком случае, очевидно, у этих данных будет несколько собственников. Однако, как представляется, передача прав собственности на информацию индивидам (что, в принципе, не совсем то же самое, что юридическая собственность) дает возможность извлечь ее из тайников и хранилищ. Потому что в этом случае она становится частной собственностью, которая приобретает ценность благодаря своему обменному потенциалу. Человек сможет по своему усмотрению передавать эту собственность, например, чтобы создать новые, более эффективные правительственные, социальные или некоммерческие системы. Вот мир, к которому мы движемся.

Существует ли какое-нибудь противодействие на этом пути? Как ни странно, почти нет. Крупнейшие интернет-компании, возможно, можно отнести к главным оппонентам этой тенденции, потому что (не хочу показывать пальцами) Фейсбук и Гугл выросли на совершенно нерегулируемом пространстве. Для них контроль над личными данными является совершенно само собой разумеющимся. Но теперь им приходится шаг за шагом мириться с мыслью, что придется идти на компромисс.

Наиболее ценной информацией владеют банки, телефонные компании, медицинские компании – все они являются объектами интенсивного регулирования. В результате, несмотря на все желание, они не имеют возможности воспользоваться данными, которые им приходится покупать у их собственников и у регуляторов. В этой связи, такие компании выступают за установление процедуры, при которой они передадут покупателям контроль за информацией в обмен на право предлагать им услуги по ее легальной покупке и использованию.

Это позволит компаниям сойти с крючка регуляторов и остаться незапятнанными, поскольку они будут открыто обращаться к владельцам за разрешением на использование информации в обмен на вознаграждение. Как представляется, если передать людям ответственность самостоятельно распоряжаться информацией, они станут делиться ей более охотно. Таким образом, это то, что снимет все противоречия для решения проблемы обеспечения неприкосновенности частной жизни, которому противостоят только компании, выросшие на почве отсутствия регулирования, а также организации, ныне действующие на теневом рынке и желающие выйти сухими из воды.

Постепенно появляются услуги, предлагающие ответственно распорядиться персональными данными. Речь идет о действительно индивидуальных рекомендациях, возможности подтверждения идентичности без запроса пароля, а также индивидуальных услугах общественного транспорта, медицинского обеспечения и т. п. Во всех этих сферах сейчас уже происходят тектонические сдвиги, и чем больше у нас появится возможностей пользоваться индивидуальными данными, тем больше будет шансов создать работоспособные системы.

Потенциальные улучшения в социальных системах отсылают нас к тому, о чем я уже говорил: современные социальные структуры построены на усредненных показателях, индексах и т. п. Например, на предположениях о том, что людям такого-то класса свойственно делать то-то и то-то, индексы рынка движутся таким-то образом. Но в реальности все эти тенденции складываются из миллионов и миллионов маленьких деталей межчеловеческого взаимодействия. “Большие данные” позволят нам увидеть эти детали и спроектировать системы, которые работают на индивидуальном уровне. Нас больше не будут воспринимать усредненными единицами.

Организациям, имеющим дело с жесткими ограничениями на информацию, придется исчезнуть

Я пришел к пониманию всего этого долгим и сложным путем. Я начинал с того, что создавал автоматизированные системы распознавания сигналов. У меня есть, в том числе, образование в области психологии и меня интересует, как взаимодействуют люди и данные в социальных системах. Например, мы разрабатывали одни из первых устройств, которые можно носить на себе. Создатели проекта “Гугл Гласс” являются выходцами из моей группы – это мои бывшие студенты. В результате всех этих проектов мне стало понятно, что ключевым фактором являются не устройства или их интерфейс, а данные о людях. Позже, когда мобильные телефоны распространились повсеместно, стало ясно, что именно они станут основным источником данных в мире.

Если бы мы смогли в любое время увидеть любого человека в мире – чем он занимается, где находится, с кем проводит время, мы бы создали совсем другой мир. Мы бы спроектировали эффективные системы транспорта, энергоснабжения и здравоохранения. Когда я сопоставил людей и сигналы, то, как люди работают посредством компьютерных систем, когда я задумался, что нам могут дать данные о человеческом поведении, я понял, что мы находимся в стадии перехода от мышления, основанного на средних показателях классов и рынков, к пониманию конкретных взаимодействий между индивидами, к системам, основанным на собирании данных по крупицам.

Этот новый мир сделает роман Джорджа Оруэлла невинной шуткой. Теперь становится понятно, что нужно всерьез отнестись к вопросам, связанным с личными данными и правами собственности на них. Оруэлл даже не догадывался, что следя за взаимодействиями между людьми можно с легкостью предсказать, за кого будут отданы их голоса на выборах, как отреагируют на те или иные новости, связанные, например, с изменением законодательства и т.п. Это откроет возможности для создания настоящей империи зла. Уверен, найдутся люди, которые попытаются этим воспользоваться.

В то же время, обществам, построенным на распространении информации, свойственно стремление к определенной прозрачности и свободе выбора индивидов, которые, как мне кажется, выступят против централизованного контроля. Такие общества будут стремиться к уменьшению роли власти со стороны государства и больших корпораций, потому что структуры без жестких информационных границ (в отличие от действующих ныне), намного более эффективны и жизнеспособны.

Это означает, что правительства и компании, ориентированные на предоставления услуг, будут стремиться предложить лучшее качество за меньшие деньги. В противовес существующим, стремящимся к контролю за гражданином и покупателем. В результате, я жду, что организациям, имеющим дело с жесткими ограничениями на информацию, придется исчезнуть под натиском со стороны более эффективных организаций без таких ограничений, не стремящихся воспользоваться вашей информацией без спроса.

    Category МНЕНИЕ ГУРУ     Tags

1 комментарий к записи “Большие данные меняют общество”

  • Александр Толстой 17 Февраль 2013 - 10:46

    Спасибо, очень интересная и во многом революционная статья, которая заставляет по другому взглянуть на текущие правила обработки персональных данных.
    С удовольствием отдал бы мистеру Пентланду трафик московского метрополитена) ну, это шутка

Прокомментировать

 
ОБО МНЕ

Последние записи

Сообщество Практиков Конкурентной разведки (СПКР)

Архивы