Шон Горли «От математики войны к алгоритму психоистории»

Шон Горли – основатель и руководитель одной из самых успешных в мире компаний, занимающихся анализом и прогнозированием на основе Больших Данных,  Quid.  При этом, компания Горли является общепризнанным мировым лидером в сфере практической реализации концепции так называемого «дополненного интеллекта». Суть концепции проста. Человеку – человеческое, а машине – машинное. Машина обрабатывает огромные массивы данных, на основе этого выводит неочевидные связи и зависимости, визуализирует их, а человек, базируясь на своем опыте, интуиции и понимании, находит объяснения этим неочевидным связям и зависимостям, и принимает соответствующие решения.

Компания сегодня работает с крупнейшими американскими корпорациями разных секторов – от разведки до здравоохранения, а основным инвестором компании является хорошо известный нам Питер Тиль, который был бизнес-ангелом Facebook, создал PayPall и является главным акционером знаменитого Palantir.

Смысл прорывного подхода Горли он хорошо объясняет в своем коротком выступлении на конференции TED.

Летом этого года в Силиконовой долине прошла закрытая конференция на тему «Поисковые машины и итоги президентских выборов». Конференцию организовал один из самых известных венчурных фондов Sequoia Capital. С докладом о своем участии в избирательной компании 2012 г. выступил и Шон Горли. Представляется, что основные моменты его выступления могут заинтересовать читателей блога. Поэтому даю перевод его выступления, поступившего от американских коллег,  в сокращенном варианте.

Я и наша компания приняли активное участие в избирательной кампании на стороне Барака Обамы. Дело не в том, что я по убеждению демократ или являюсь фанатом Барака Обамы. Просто никто из республиканских кандидатов не пришел к нам с предложением работы. А вот г-н Санстейн предложил нам принять участие в аналитической поддержке избирательной кампании. Не как волонтерам, а на контрактной основе.

Я думаю, что мы хорошо поработали, потому что в день выборов я не был в Вашингтоне, а сидел в Осаке в небольшом баре и спокойно наблюдал за объявлением результатов президентских выборов. Имеющиеся технологии прогнозирования позволяли начать составлять прогнозы итогов голосования за шесть месяцев до выборов. Раз в день прогнозы уточнялись и примерно за 10 дней до выборов цифры больше не изменялись. Итоговый показатель по процентам голосов в прогнозе разошелся с реальностью на 0,2% для Ромни и 0,12% для Обамы. Как видите, алгоритмы прогнозирования позволяют достаточно точно предсказывать победу одного или другого кандидата, и даже количество голосов, поданных за них. Если прогнозы за шесть, четыре, три месяца до события еще представляли сложность, то в интервале с 10 дней до выборов они являлись такой же рутиной, как предсказание погоды в течение дня.

Это не должно вызывать у вас какого-либо удивления, поскольку сегодня на основании Больших Данных мы можем достаточно точно группировать избирателей, относить их к тем или иным категориям и соответственно с высокой степенью вероятности предсказывать их поведение.

Это не новость. Об этом говорят все, кто занят сейчас Большими Данными. Вы это можете услышать и на научных конференциях и просто прочитать в интернете, либо в Нью-ЙоркТаймс. Но я по секрету скажу, что это не вся правда, и даже не половина ее.

Вы все знаете знаменитую историю, как компания до того, как узнавали родители девушек-подростков ,устанавливала беременность  на основании поисковых запросов и покупок тех или иных товаров в магазинах. Собственно на этом построено все могущество Больших Данных. Но один случай, который произошел в ходе прошлой избирательной кампании ,заставил меня задуматься о другом вопросе. Это хорошо, что Большие Данные позволяют определить беременность до того, как девушка признается в этом родителям. Н,  я честно могу сказать, что они ничего не скажут на вопрос, а почему собственно девушка забеременела. Почему одна оставила ребенка, а другая – нет. А теперь, к случаю с избирательной кампанией и главной теме моего выступления.

Как правило, люди воспринимают историю задним числом, по ее итогу. Сейчас вроде бы никто не сомневается, что кампания была предрешен,  и Обама победил бы в любом случае. Однако это не так. Наши прогнозы резко разошлись с реальностью после двух первых дебатов. Барак Обама очень неудачно выступил против Митта Ромни. Подлинная беда состояла в том, что до этого молодой кандидат от республиканцев Пол Райан что называется за явным преимуществом выиграл у ветерана американской политики, Вице-президента Джо Байдена.

Вот здесь настал момент истины. Если до этого мы, если говорить честно, не приносили большой помощи избирательному штабу Обамы и делали то, что могли бы делать и другие, то здесь настал наш час.

Поскольку итоги дебатов подводятся по опросам общественного мнении,  и по закону мы имеем право знакомиться с результатами опросов, а также с данными по той выборке, по которой ведется опрос, мы собственно и задались выяснением  вопроса, почему девушка оставила ребенка. Очевидно, что за две недели, пока шли дебаты, ничего особо не изменилось. Да и на самих дебатах, скажем прямо, их участники говорили достаточно очевидные и понятные вещи. Т.е. перелом в настроениях избирателей был связан не с какими-то программными вопросами или изменениями убеждений, а с чем-то другим. Как говорили мои учителя в университете, с «неуловимым эфиром».

Тогда мы запустили нашу машину и на основании Больших Данных отсеяли людей, которые в любом случае голосуют соответственно за республиканцев и демократов. Получили колеблющихся. Затем колеблющихся мы разделили на две категории. Одни – для которых важен был внешний вид кандидатов, их физический облик и прочие вещи, которые уже не исправишь.(Т.е. не смотрел Джон Смит на Обаму и Ромни вместе, а тут увидел, и что называется, отдал одному предпочтение. Такое бывает). Осталась большая категория колеблющихся с неясной мотивацией. Когда мы сравнили с результатами опросов, оказалось, что именно эта часть и перешла на сторону республиканцев.

Если бы у нас было несколько больше времени и специально подготовленные данные, то уверен, мы бы могли решить эту задачу алгоритмически. Но поскольку нас подряжали в эту кампанию, как прогнозистов и тех, кто может визуализировать прогнозы по группам, регионам, слоям населения, то таких данных у нас не было.

Тогда мы сделали достаточно странную вещь. За несколько месяцев до начала избирательной кампании мы выполняли работу, связанную с финансированием крупномасштабного голливудского блокбастера. Наша роль состояла в том, чтобы подсказать продюссерам, кого из актеров пригласить на главную роль. Там были все необходимые данные, и мы успешно справились с задачей. Фильм побил рекорд по сборам. При решении кинозадачи мы использовали алгоритмы идентичности. Т.е. грубо говоря, мы старались подобрать из имеющихся у продюсера кандидатов на главную роль того, с кем больше всего идентифицирует себя зритель. Нам показалось, что это в значительной степени универсальный алгоритм принятия человеком решений, когда знаний для рационального выбора у него недостаточно, а какие-то твердые убеждения, которые подсказали бы ему выбор, отсутствуют.

Перед нами встала задача, чтобы как можно больше колеблющихся избирателей без убеждений и предпочтений вернулось к Обаме, причем сделали это быстро, поскольку до выборов оставалось считанные дни. Мы заметили, что основная часть неопределившихся избирателей, перешедших после теледебатов от демократов к республиканцам, составляют белые, семейные люди с детьми, проживающие в мегаполисах и крупных городах. Тогда мы обратились к той части команды Обамы, которая отвечала за прямые контакты с избирателями. Мы предложили им на их взгляд достаточно непонятную вещь. Через отлаженную у них систему e-mail рассылок, Facebook, Instagram и проч. отправить колеблющимся избирателям личные послания. При этом, эти послания включали ссылки на фото-  видеорепортажи, где не столько сам Президент, сколько Мишель Обама встречалась с фермерами, учениками школа, с покупателями в супермаркетах  в районах, где мало афроамериканцев и по внешнему виду люд относятся к среднему классу. Т.е нам надо было подтолкнуть людей к мысли, что Обама это Президент всех американцев, вне зависимости от цвета кожи, и не тех, кто живет на социальные пособия. Супругу Президента, а не его самого, мы выбрали потому, что, как показывали имеющиеся у нас данные, к ней люди относятся более ровно и их отношение связано скорее с различными психотипами, чем с имущественным уровнем, принадлежностью к той или иной этнической группе и т.п. Напиши мы эти послания от имени Барака Обамы, мы получили бы гораздо более острую и сегментированную реакцию.

Итоги избирательной кампании вы знаете. При этом, после кампании массовой рассылки сообщений с подготовленными на основе наших рекомендаций специалистами по когнитивным наукам текстами и фотографиями, обзоры опять показали возврат колеблющихся к Обаме. Картина больше не менялась до выборов.

Мораль истории такова. У Ромни в штабе тоже были прогнозисты. Но когда наступил момент перелома, никто не проанализировал, кто обеспечил этот перелом, никто не выдал рекомендации, как его закрепит,  и никто не довел до избирателей послания, в котором бы содержалось подталкивание к голосованию.

После того, как закончились выборы, мы в нашу компанию набрали самых талантливых специалистов в такой сфере компьютерных наук, как агентное моделирование. Агентное моделирование – это такая сфера математики, которая позволяет моделировать действия многих активно действующих субъектов. В обычных моделях, как вы знаете, есть аргумент и функция, которая от него зависит. А здесь действует много аргументов и все они взаимосвязаны и конкурируют между собой. Т.е., грубо говоря, каждый агент выступает и аргументиом и функцией во взаимоотношениях между агентами. Мы надеемся, что в итоге,  агентное моделирование позволит нам создавать своего рода имплантаты действия и через различного рода каналы вживлять их в субъекты действия – от человека до социальной группы.

Если выборы 2012 г. вошли в историю как выборы прогнозистов, то я думаю, что выборы 2016 г. будут первыми выборами, когда ключевую роль  сыграют те, кто сможет осуществлять подталкивание поведения, изготавливать и применять поведенческие имплантаты.