Компьютерная психоистория. Могут ли алгоритмы предсказать революции?

Авторизированный перевод статьи Рассела Брандома с ресурса http://www.theverge.com/

В 2013-2014 годах произошло множество событий. Это и гражданская война в Сирии, жесткие столкновения на северо-западе Китая в Синьцзяне, беспорядки в Нигерии, события на Украине. Для большинства американцев и европейцев это далекие и непонятные события. Для тех, кто работает в Университете Дьюка, в лаборатории WardLab, эти события являются проверкой сделанных ими прогнозов. Лаборатория на основе Больших открытых Данных, опенсорсного софта и изощренных математических алгоритмов делает прогнозы острых конфликтов, войн и революций.

Их прогнозы делаются на полугодовой период. В течение двух последних полугодий прогнозы полностью сбылись в отношении развития событий в Сирии, превращения Ливии в несостоятельное государство, вооруженных столкновений на севере Китая, а также вторжения суннитских фундаменталистов-экстремистов из ИГИЛ в Ирак, включая захват населенных суннитами районов страны с богатейшими нефтепромыслами.

Майкл Уорд, основатель и главный исследователь лаборатории говорит о том, что, хотя они и достигли больших успехов, тем не менее, случаются серьезные осечки. Лаборатория не смогла дать прогноз относительно возникновения крупномасштабных беспорядков на  Украине, которые, в конечном счете, привели к переформатированию страны, отторжению Крыма и событиям в Донбасском регионе. По мнению Уорда, может быть две причины такой ошибки. Одна состоит в том, что вполне вероятно применяемые алгоритмы и используемый софт недостаточно совершенны для того, чтобы делать практически безошибочные прогнозы. Более того, руководитель лаборатории абсолютно уверен, что так оно и есть.  Однако он сказал: «Поскольку за последний год точность наших прогнозов повысилась и в остальных случаях она либо очень хорошая, либо, по крайней мере, удовлетворительная, то возможно и другое объяснение нашего просчета с Украиной. Пока наши алгоритмы ориентированы, прежде всего, на выявление ранних признаков внутренних процессов. Они хуже показывают внешнее воздействие на те или иные страны, их регионы и даже отдельные города. Вполне вероятно, что на Украине мы столкнулись, прежде всего, с внешним индуцированием внутренних конфликтов, которые носили серьезный, но некритический характер. Поэтому наши алгоритмы просто не обнаружили это. Украина нас научила, что внешние факторы очень важны и сейчас мы работаем в этом направлении».

До последнего времени системы прогнозирования конфликтов, войн и революций являлись закрытыми проектами. Соответственно, никто не сообщал о том, насколько эффективно они работают. А даже если такие сообщения и появлялись, их невозможно было проверить. В отличие от университета Дьюка, прогнозы были закрытыми структурами. Соответственно представители различного рода разведывательных и военных ведомств, рассказывая об эффективности прогнозных систем, вполне могли кривить душой. Ведь проверить их было невозможно.

История прогнозирования конфликтов с использованием алгоритмов и Больших Данных начинается с работ, финансируемых DARPA в начале нулевых годов. После шестилетней работы было проведено сравнение прогнозов, сделанных системой под названием ICEWS (созданной DARPA), представляющей собой интегрированную систему раннего предупреждения конфликтов  с результатами работы лучших внутренних аналитиков ЦРУ. Соревнование человеко-машинной системы с аналитиками ЦРУ проводилось на материале 29 различных стран Азии. В итоге аналитики ЦРУ дали примерно 60% точных прогнозов, а алгоритмическая система – немногим более 80%.

Почему лучшие аналитики ЦРУ проиграли не самой совершенной алгоритмической системе, использующей в основном регрессионные уравнения? Этому было посвящено специальное детальное исследование. Выяснилось, что результат обусловлен не большей эффективностью работы системы, а воздействием интересов людей на сделанные ими прогнозы. Представьте себе, что в ЦРУ существует очень опытный эксперт по проблемам Индонезии.  Он обладает глубокими и широкими знаниями об этой стране. Он получил эти сведения, в том числе за пребывания в соответствующей стране. Вместе со знаниями он приобрел и своеобразные предубеждения, фильтры, отсекающие ту информацию, которая не укладывается в его понимание Индонезии.

Ошибки начинаются отсюда. Машина, пускай несовершенно, но работает со всеми имеющимися данными. А человек, обладая гораздо более мощным инструментом обработки данных, некоторые, а то и многие из них, просто игнорирует. Он, прежде всего, отметает те сведения,  которые не укладываются в его жизненный опыт и понимание страны. Но это полбеды. Настоящие неприятности связаны с тем, что его карьера, достаток, уважение руководства в значительной степени связаны с тем, насколько важна для руководства именно Индонезия, страна, на которой специализируется эксперт. Соответственно, делая прогноз, он неосознанно старается построить его таким образом, чтобы этот прогноз привлек максимальное внимание начальства и побудил его обратиться к эксперту. Т.е. фактически он заинтересован не в точности прогноза, а в наиболее полном удовлетворении собственных интересов, как результата сделанного прогноза.  В самых худших случаях выяснилось, что эксперты часто делают прогнозы, даже противоречащие их знаниям о стране, но зато отвечающих ожиданиям и нуждам руководства. В итоге, прогнозы отборных экспертов ЦРУ оказались ненамного лучше, чем те, которые могли быть получены путем простого бросания монеты. В этом случае мы получили бы пятидесятипроцентную точность прогнозов, а лучшие умы в Лэнгли дали аж 60%.

После проведения этих шокирующих испытаний ICEWS был надежно укрыт в недрах Пентагона и о дальнейшей практике его использования и ее результатах ничего не слышно.

Напротив, индустрия публичного прогнозирования активно развивается. Наряду с университетом Дьюкабольшой, интересный проект реализуется в  Джорджтаунском университете с привлечением волонтеров по всему миру. В основе этого проекта лежат методы известного специалиста компьютерных наук К.Литару. Первоначально была проведена каталогизация и классификация всех, сколько-нибудь важных политических, военных, экономических, социальных событий прошлого и начала нынешнего века в Европе, Азии и Америке. Затем на основе многомерной классификации создана единая база данных под названием GDELT .  По большей части эта база является открытой и может быть использована любым исследователем, который зарегистрировался в проекте Джорджтаунского университета. Исследователи и их коллективы могут быть из любой страны мира. Их задачей является разработка моделей, которые позволили бы, используя базу, прогнозировать те или иные события, или, по крайней мере, тенденции. Особой популярностью в рамках проекта пользуются нейронные сети в различных вариантах. Фактически в проекте реализуется синтез программирования нейронных сетей и методов машинного обучения, который получил название когнитивных вычислений или когнитивного компьютинга.

Приведено только два примера открытых проектов. Их сегодня уже больше. К сожалению, невозможно прямо сравнить эффективность открытых проектов с тайными проектами Пентагона или DARPA. Однако с уверенностью можно сказать, что в открытых проектах точно не действует эффект, который получил название «эффекта индонезийского аналитика». Кроме того, в них вовлечено множество добровольцев и соответственно действует принцип Linux или «снежного кома». Есть косвенные свидетельства, что подобный подход оказался более эффективным, чем военно-разведывательные засекреченные проекты. Из анализа грантов, выделяемых DARPA и IARPA, а также из прессы известно, что военно-разведывательный комплекс сегодня активно использует прогнозы исследовательских лабораторий в университетах Дьюка и Джорджтауна и сетей, связанных с ними волонтеров.