Невидимый интернет – 2011. Часть вторая.

Ариадны или Сусанины

Из года в год происходят перемены на рынке поисковых машин. В целом можно выделить пять главных тенденций.

Первая – это растущая монополизация рынка. Например, в Рунете на конец 2010 г. 53% обрабатываемых запросов приходилось  на Yandex, 32%  – на Google, а все остальные поисковики в совокупности берут на себя только менее 15 % поисковых запросов. Кстати, Россия, вместе с Китаем являются единственными крупными странами, где Google не стал абсолютным лидером поисковиков.

Вторая – это все большее воздействие на поисковые алгоритмы коммерческих требований. В частности, стремление максимально долго удержать пользователя в рамках конкретной поисковой платформы. Проявляется это и через растущую социализацию поисковых систем, и через стремление поисковиков охватить все основные виды контента. И через формирование у компаний «черных» и «белых» списков и, скажем мягко, некоторое влияние финансовых вопросов на результаты поисковой выдачи, особенно там, где речь идет о товарах и услугах.

Третья – это формирование поведенческого поиска и так называемых ответных машин. Предельным случаем таких ответных машин являются чрезвычайно удобные и новаторские, пример,  Wolframalpha.com . Что касается поведенческого поиска, то  по логике он должен был бы способствовать поискам информации в Интернете. Однако, поскольку осуществляется алгоритмически, то скорее ведет не к повышению качества, а к навязыванию пользователю тех или иных результатов поисковой выдачи в зависимости от различных критериев, начиная от его предыдущих поисков, заканчивая поисковыми запросами по сходным группам. Об этом можно долго и подробно писать,  поскольку данное направление станет вероятно господствующим  в развитии поисковых машин на ближайшее время, и мы обязательно сделаем это. Пока же просто отметим, что поисковые машины все более не ищут информацию по запросу, а предоставляют некий набор сайтов, где выбор во все возрастающей степени делается не пользователем, а определенной настройкой алгоритмов и т.п.

Четвертое – это достаточно стремительное расслоение поисковиков.

Пятое – это стремительное развитие технологий федеративного или интегрального поиска, а также других технологий, позволяющих создавать поисковики, действующие в «Глубоком вебе». Более подробно об этом чрезвычайно перспективном направлении можно прочесть в серии публикаций «Федеративный поиск», которые мы размещаем в разделе Софт и сервисы.

В  современных условиях, прежде чем доберешься до действительно «Невидимого интернета», необходимо предпринять немало усилий, чтобы вернуть видимость ставшему невидимым обычному и привычному нам видимому интернету.

Возвращаем видимость

Для того чтобы вернуть видимость обычному интернету, нужно использовать несколько несложных методов.

В любом случае нужно пользоваться несколькими поисковыми машинами. В русскоязычной части интернета это Yandex, Google или Bing (по вкусу) . Кстати, эксперименты показывают, что с каждым днем уже упоминавшаяся Blekko все лучше поддерживает поиск по русскоязычной части Cети.

Использование Nigma позволяет варьировать параметры поиска, что, как показывают исследования, не только значительно экономит время, но и заметно повышает релевантность поисковой выдачи.  Microsoft подавляющая часть компьютерщиков не любит, но, тем не менее, казалось бы почти безнадежный Bing становится все более и более популярным. С каждым месяцем его доля в англоязычном интернете растет. И  хотя она очень далека от Google, но пропорции вот уже какой месяц изменяется в пользу Bing. Как показывает статистика, примерно по каждому пятому вопросу Bing дает более релевантную выдачу, чем Google. Особенно это касается так называемых длинных вопросов.

В общем, можно порекомендовать такой алгоритм. Выбирается один базовый поисковик и к нему обязательно добавляется Nigma в Рунете и Blekko в англоязычной части сети для детального и более глубокого исследования информации.

После этого уже можно использовать так называемые вертикальные поисковики, т.е. поисковики, ориентированные на определенную предметную сферу. Значительная часть таких поисковиков для нужд конкурентной разведки включена в соответствующий раздел Меню Разведнет.

Естественно, при использовании универсальных поисковиков необходимо не ограничиваться поисковым запросом, а применять языки запросов. Для удобства операторы поисковых запросов можно скачать здесь.  Использование этих языков позволяет, например, по свидетельству Андрея Масаловича, повысить эффективность поиска и вероятность нахождения действительно нужной информации не на проценты, а в разы.

Третья часть поста будет посвящена поиску собственно в «Невидимом интернете», поисковикам и программным продуктам, делающим этот поиск возможными эффективным.