Увидеть незримое. Часть пятая.

Google как машина времени.

Машина времени в прагматическом смысле – это инструментарий прогнозирования. Но, прежде чем мы разберемся с возможностями использования Google для прогнозирования, есть смысл кратко остановиться на тех основах, которые сделали возможным использование поисковика №1, как достойного инструмента прогнозирования для определенных отраслей и сфер.

В отличие от  мира простых систем или пространства машин и механизмов с его ньютоновской физикой и прогнозированием на основе полной формализации, со сложными системами дело обстоит иначе. Собственно, еще физики, начинавшие работать с достаточно простыми системами, установили ограниченность традиционных подходов. Так, Бернулли, занимавшийся гидродинамикой, сформулировал принцип, который полностью относится и к человеческим системам. Он гласит, что в подавляющем большинстве случаев точечное прогнозирование просто невозможно и приходится удовлетворяться интервальным прогнозированием. Знаменитый Больцман стал не только отцом термодинамики, но и убедительно доказал, что вероятностный подход связан не с ограниченностью наших знаний, а с самой природой реальности. Наконец, математики и физики, занимающиеся нелинейными уравнениями и процессами, вышли в итоге на синергетику с ее теорией катастроф Тома и концепцией русел и джокеров Малинецкого.

В итоге понятно, что прогнозирование сложных систем возможно только на определенных интервалах времени, от одной точки бифуркации до другой, или в терминах Г.Малинецкого только на участках русел, где система хоть и не линейна, но более-менее стабильна.  Но даже на этих участках речь всегда идет о не точечном, а интервальном прогнозировании, когда мы говорим не о конкретном событии, а об определенном, хотя и ограниченном их векторе. Совершенно очевидно, что прогнозирование носит в силу неопределенности реальности вероятностный характер. Ну и наконец, как показали бурно развивающиеся исследования неравновесных, нелинейных систем имеются устойчивые признаки, позволяющие распознавать приближение к точкам бифуркации в терминах Тома, или джокерам в понятиях Малинецкого.  В общем, прогнозировать можно, хотя и достаточно сложно. И всегда прогноз носит вероятностный характер.

Казалось бы, прогнозировать человеческие системы – является наиболее сложным занятием. В каком-то смысле это действительно так. Но, с другой стороны, прогнозирование систем, в которых большую роль играет человеческое поведение, оказывается вполне возможным в силу особенностей этих систем.

Был такой Карл Маркс, который много чего в истории натворил, чьи идеи до сих пор, несмотря на всю критику, используются не только сторонниками, но и противниками его воззрений. Ему принадлежит знаменитая мысль о том, что «идеи, овладевшие массами, становятся материальной силой». В начале 30-х гг. Антонио Грамши разработал на основе этого подхода инструментарий воздействия на коллективное сознание, который в дальнейшем стал использоваться не только в политике, но и в других областях человеческой жизни и бизнесе.

Этот подход сразу после окончания Второй мировой войны был взят на вооружение противниками марксизма, в основном в Америке, и был детально исследован. Знаменитый философ К.Поппер сформулировал так называемый «Эдипов эффект». Этот эффект показывает, что любое суждение о будущем оказывает воздействие на настоящее, изменяя человеческое поведение. Специалист по информационным наукам Томас сформулировал теорему, которая вошла в науку и практику под его именем. Она гласит, что «если человек определяет ситуацию как реальную, она – реальна по своим последствиям». Исследуя эту тему, один из ведущих американских психологов Розенталь вскрыл принцип Пигмалиона. Он состоит в том, что ожидание человеком или группой людей вне зависимости от ее численности, реализации предсказаний во многом определяет характер их действий, поступков и интерпретацию этих поступков окружающими. Это провоцирует самоосуществление предсказания. Несколько позднее крупнейший американский социолог Р.Мертон, тесно сотрудничавший с Пентагоном и разведывательным сообществом, разработал технологию самоисполняющихся пророчеств – навязанного извне ложного понимания ситуации вызывающего новое поведение, которое превращает первоначально ложное представление в реальность.

В итоге бизнесовое применение всех этих разработок было реализовано Д.Соросом, либо, как полагают многие осведомленные специалисты, серьезной группой, использовавшей уроженца Будапешта в качестве фронтмена для осуществления крупномасштабных операций на финансовых и инвестиционных рынках, а также политической деятельности.

Последним пазлом в картину стало сначала появление, а потом беспрецедентное, охватившее на сегодняшний день практически подавляющую часть человечества развитие интернета. В каком-то смысле интернет представляет собой материализацию идеального, своего рода вынесение вовне сознания и бессознательного как отдельного человека, так и групп. Интернет позволил овеществить процесс мышления, размышления и т.п. Теперь мысль оставляет вполне материальные следы, которые также как и следы в физическом смысле могут исследоваться, учитываться, использоваться для анализа и прогнозирования.

В нынешней реальности любой поисковый запрос представляет собой фиксацию процесса мышления о чем-то. Он показывает нам объект этого мышления,  его последовательность и многое другое. Когда интернет с одной стороны стал доступен для подавляющего большинства жителей в развитых странах в режиме он-лайн нон-стоп, а с другой, пользователи приучились к интернету, как к источнику мгновенного получения любой интересующей информации, использование поисковиков для прогнозирования стало возможным.

Ситуацию облегчил еще и тот факт, что ко второй половине нулевых годов Google по факту стал не просто поисковиком №1, а абсолютно господствующим поисковиком в подавляющем большинстве стран, за исключением Китая и России. Поэтому неудивительно, что начиная с 2009 года в Соединенных Штатах, Великобритании, а затем и в континентальной Европе стали проводиться многочисленные исследования по использованию Google в качестве инструмента прогнозирования. Уже в текущем году опубликовано более 70 работ на эту тему.

На данный момент независимыми группами исследователей, использующих различные методы и алгоритмы обработки поисковых запросов в целях прогнозирования установлено, что особым образом обработанная статистика поисковых запросов может выполнять роль опережающих индикаторов для целого ряда рынков и экономических параметров. В частности это относится к:

-  динамике безработицы в США, Германии, Франции;

- динамике потребительских расходов на рынках электроники США, странах ЕЭС, Канаде;

- ценам на недвижимость США и Великобритании;

- биржевым индексам на «голубые фишки» на Нью-Йоркской и Лондонской биржах и фьючерсам на биржевой индекс китайских акций на гонконгской бирже.

На сегодняшний день обнаружено более 50 показателей, относительно которых поисковая статистика Google может быть использована как опережающий индикатор. Выбраны только те области, где вывод был сделан не одного, а нескольких независимых исследований. Используя все тот же Google их несложно обнаружить.

Результаты проведенных исследований привели к тому, что многие наиболее успешные инвестиционные аналитики в настоящее время используют специализированный софт для получения вероятностных прогнозов, базирующихся на  статистике поисковых запросов. Специализированный софт в основном относится к классу лингвистических программ, поскольку серьезные аналитики для прогнозирования используют не один поисковый запрос, а обработку поисковых запросов по целой группе терминов, полученных в результате формирования того или иного семантического ядра. Вот для формирования этого ядра на основе латентно-семантического анализа и используется этот софт.

Впрочем, большинство из отмеченных выше исследований было проведено на основе достаточно простых методик, прямо использующих статистику поиска Google http://www.google.ru/insights/search/ . Если есть время и желание, то каждый может сам поэкспериментировать с этим подходом по интересующей его тематике.

В заключение сегодняшнего поста, хочу рассказать об интересном эксперименте, который сейчас проводит NY Times с привлечением нескольких групп исследователей. Суть эксперимента в следующем. Как известно, в этом году в США проходят президентские выборы. Кандидаты от партий, которые будут соперничать на президентских выборах, выбираются на съездах этих партий по итогам праймериз или их аналогов, проводимых в каждом штате. Как известно, за право стать кандидатом от Республиканской партии идет борьба между Ромни, Гингричем, Санторумом и Полом.

В ходе эксперимента проверяются прогнозы на результаты первичных выборов в каждом штате у каждого из этих четырех основных кандидатов, а также места, которые они займут по итогам выборов.  Задействовано четыре типа прогнозов. Первый – прогноз экспертов, политологов, специализирующихся на выборах. Второй – прогнозы, сформированные на двух наиболее заметных электронных рынках предсказаний. Третий – прогнозирование при помощи специальной программы, использующей методы латентно-семантического анализа обработки поисковых запросов Google. Четвертая – программа, использующая в качестве материалов для прогнозов информационный поток Twitter.

На сегодняшний день картина сложилась такая. С приличным отрывом лидирует программа на основе поисковых запросов Google. Затем идут практически голова в голову эксперты и рынки предсказаний. В одних штатах лучше работают эксперты, в других – рынки предсказаний. Последнее место на политическом рынке прогнозов занимает программа, использующая Twitter. Но возможно все еще и изменится.

В общем, я конечно далека от того, чтобы утверждать, что Google-прогнозирование – это совершенный инструмент. Но Google-прогнозирование – это работающий инструмент, помогающий ориентироваться в неопределенном и неустойчивом мире, дающий зачастую лучше результаты, чем многие, так называемые, эксперты.