Новости из конюшен. Декабрь

Гараж Стива Джобса и Стива Возняка стал апокрифом нашего мира.  Поисковики в английском языке, как известно, называются search engines или поисковые машины.  Эти машины по мощности и электропотреблению несравнимы ни с одной машиной в мире. В мире автомобилей самыми мощными являются машины серии Формула-1. Гаражи команд Формулы традиционно называются «конюшнями». Поэтому, начиная с декабря, раз в месяц под заголовком «Новости из конюшен» буду рассказывать о наиболее интересных событиях в мире поисковых машин, как только что рождающихся, так и  набирающих обороты. Что же касается наиболее известных, так о них существуют десятки, если не сотни, качественных ресурсов на различных языках.

В октябре месяце на Саммите Web 2.0 в Сан-Франциско в присутствии Сергея Брина С.Беррел, более известный как бывший король рэпа MС Hummer  «взорвал бомбу». Он сообщил, что команда программистов после двухлетних трудов приступает к бета-бета тестированию нового поисковика WireDoo. Сам по себе С.Беррел – человек интересный. Поднявшись на вершины американской рэп-индустрии, он впоследствии разорился, поверил в бога, стал сначала известным проповедником, а потом крупной медийной фигурой и предпринимателем.

Суть его выступления помимо прочего состояла в том, что он предложил желающим в течение недели зайти на сайт, записаться в качестве участников закрытого тестирования. Призыв был услышан, через неделю необходимое количество квалифицированных тестировщиков поисковика записалось в добровольцы. После чего сайт был закрыт и все вступили в фазу ожидания, которая по прогнозу бывшего рэпера должна продлиться где-то с полгода.

Почему пишу о еще не запущенном поисковике? Ведь каждый месяц в той или иной стране появляется какой-либо поисковик, в последнее время чаще всего ориентированный либо на социальные сети, либо на вертикальный поиск. Дело в том, что MС Нummer  сообщил, что принцип работы поисковика будет отличаться от уже имеющихся. Он назвал этот принцип реляционным. На самом деле, и здесь потенциально заключена целая революция, его разработчики подошли к интернету, как к одной огромной базе данных, причем стали строить систему управления базой данных или поисковик не на основе реляционного подхода, а на давно забытых в мире, но развиваемых в России компанией Cronos сетевых базах данных. Хотя, вполне вероятно, что разработчики о Кроносе не знают и не ведают.

Это стало понятным из презентации проекта. В презентации MС Нummer  сказал, что его поисковик будет выдавать не просто ссылки на ресурсы, а структурированную информацию, связанную с поисковым запросом. У читателя может возникнуть вопрос, а в чем же новизна. Например, WolframAlfa выдает структурированный ответ на заданный вопрос. Причем, не просто ответ, а с соответствующими графиками и информационными источниками.

Поисковик WireDoo  – это не вопрос-ответная машина и не пре6образователь вопросов в теги. Он будет действовать по иному принципу. Например, вас интересует приобретение конкретной машины с теми или иными параметрами. Поисковик вам предложит набор машин, удовлетворяющих параметрам, набор продавцов в тех местах, где вы живете с лучшим соотношением цены-качества и репутации. Плюс вы получите информацию об авариях, случавшихся с этими машинами и другие сведения, так или иначе относящиеся к возможной покупке. Эти сведения будут упакованы в несколько блоков, а дальше уже ваше дело, выбирать из них то, что нужно именно вам. Т.е. здесь нет принципа вопрос-ответа, нет и тегов, а есть агрегация, конденсация информации и предоставление поля возможности для выбора. Достигается это за счет использования в свое время наиболее популярных, а потом забытых сетевых баз данных, где объекты увязываются между собой по определенным признакам или параметрам.

Несколько недель назад Европейское отделение Фонда свободного ПО представило первую в мире децентрализованную поисковую систему YaCy.  Идея состоит в том, чтобы построить поисковик на тех же принципах, на которых в свое время был создан потеснивший с трона Microsoft особенно в сегменте серверов Linux.

Суть проекта состоит в следующем. Человек может скачать себе опенсорсный клиент на персональный компьютер, ноутбук, либо установить поисковый сервер и включиться в сеть. Поисковик базируется на архитектуре Р2Р, т.е. системе независимых распределенных узлов, так называемых «пиров». У системы нет централизованного руководства, а ее развитие происходит путем наращивания пользователей через скачанные клиенты и создание все новых распределенных независимых узлов.

Руководитель проекта Михаэль Кристен сказал: «Мы больше не можем доверять нескольким крупным компаниям и расплачиваться за это личными данными. YaCy – это необходимое звено между свободными пользователями и свободной информацией. Она возвращает нам контроль над поиском».

Структура YaCy состоит из поискового робота, индексатора для парсинга и анализа документов, базы данных и пользовательского интерфейса. В системе также реализуется принцип сетевой базы данных.

Уже через несколько недель после запуска система отсканировала более 1,4 млрд. документов и имеет 130 тыс. поисковых запросов ежедневно. Число пользователей растет как снежный ком. А соответственно, увеличиваются и возможности сети и количество индексированных ресурсов.

В общем, мы видим поворот сверхновых поисковиков к осмысленному интернету или интернету для умных. Они, я надеюсь, станут эффективным инструментом для корпоративной разведки. Причем два столь непохожих друг на друга поисковика объединяют два чрезвычайно важных обстоятельства. Во-первых, они рассматривают интернет не как беспорядочное нагромождение ресурсов, которые надо обходить неутомимым роботом, а как огромные базы данных и сведений. Во-вторых, они используют, в конечном счете, сетевую модель баз данных. В жизни поисковиков происходит точно по Г.Остеру:

Никогда не догоняйте
Устремившихся вперед.
Через пять минут, ругаясь,
Побегут они обратно,
И тогда, толпу возглавив,
Вы помчитесь впереди.