Дек
17

Наслаждение Невидимой сетью для конкурентной разведки

Материал любезно предоставлен ресурсу автором.

Эстель Метайеродин из ведущих специалистов по конкурентной разведке, адъюнкт-профессор Университета МакГилла и Университета Торонто. Собственник и руководитель компании Competia. На сайте компании очень много полезных для практиков конкурентной разведки материалов. По итогам международного мониторинга Twitter в 2010 г. Эстель Метайер была признана наиболее упоминаемым специалистом по конкурентной разведке в мире.

Знаете ли вы, что более 70% web страниц и информации не могут быть доступны поисковым системам? В мире в настоящее время доступ к содержимому в Интернете осуществляется почти исключительно с помощью Google. И лишь немногие специалисты понимают, что Google и другие поисковые системы не дают доступ к данным, в которых они нуждаются. Невидимый web, однако, содержит богатства в структурированных проверенных данных, которые имеют решающее значение для профессионалов конкурентной разведки. В этом небольшом посте будет коротко рассказано в Невидимом web, а также инструментах, которые помогут вам получить доступ к нему.

DeepWeb (также называемый Deepnet, DarkNet или Скрытый Web) относится к Всемирной Паутине и не является частью Webпространства, которая индексируется стандартными поисковыми системами.

Wikipedia.org


Почему Невидимый Интернет?

Поисковики не могут обнаружить несколько видов информации. Для упрощения я приведу здесь несколько примеров, которые наиболее актуальны для профессионалов конкурентной разведки.

Динамически создаваемые страницы

Это страницы, которые не могут быть получены на основе алгоритмов поисковых систем. Например, это касается поисковых запросов для сайтов. Которые содержат статистические данные. Поисковые алгоритмы не приспособлены для такого рода поиска и поэтому не могут дать пользователю доступ к таким данным. Примером является сайт Всемирного банка по статистике.

Исключенные страницы

Некоторые владельцы сайтов предпочитают избегать появления тех или иных Web страниц сайтов в поисковых системах. Например, они не указывают метатеги, используют другие приемы. Это может быть проблемой, когда вы ищите конкретные технологии или компании, которые добровольно хотят остаться «под радаром».

Базы данных

Большая часть мира структурированных данных была организована в базах данных, которые полностью доступны, но требуют от пользователя точно знать ключевые слова, чтобы найти информацию, в которой он нуждается. Вот несколько примеров:

- Статьи газет. Например «Financial Times», которые предлагают свободно ля пользователей свои полные архивы.

- European Patents, благодаря которому вы можете получить доступ к списку патентов, имеющихся в европейских патентных ведомствах.

- Учредительные документы. При исследовании частных компаний обращение, например, к такому ресурсу, как Учредительные документы позволят вам получить доступ к информации о собственности, составе совета директоров и т.п. Подобные ресурсы имеются во многих государствах.

- Финансовая информация. Вы можете найти ее, например, на доступ к финансовой информации по американским компаниям. (Такие же ресурсы имеются в большинстве стран, в том числе в России – Е.Л.).

Однако если вы будете использовать поисковые системы для извлечения нужной информации на этих сайтах напрямую, то страницы индексироваться поисковиком не будут. Ключевые слова надо вводить вручную. Происходит это, если информация не была предоставлена постранично владельцами ресурсов, и, соответственно, не может быть проиндексирована поисковой системой. (Например, научные публикации для Google, теперь доступные для Google Scholar).

Вот очень хорошая схема Невидимого Интернета, взятая из классической работы Шермана и Прайса.

Что означает Невидимый Web конкурентной разведки

Понимание и умение работать в Невидимом Web – это один из ключевых навыков профессионалов конкурентной разведки, прежде всего, по двум причинам.

- доступ к структурированным данным. Наши исследования показывают, что более чем 70% данных, необходимых для конкурентного анализа хранится в структурированных базах данных, например, таких, как упомянутые выше. Поэтому крайне важно знать, как использовать эти источники.

- способность слушать слабые сигналы. Слабые сигналы важны для тех, кто отслеживает новые технологии, тенденции, первые признаки активности конкурентов. Чтобы услышать их, бросьте Google и нырните в Невидимый Web.

Золотые самородки

Иногда можно обнаружить интересные источники информации о Невидимом Интернете. Вот несколько примеров интересных источников информации:

- Flightaware даст вам доступ ко всем планам полетов, сайт был разработан, чтобы позволить отслеживать коммерческие и частные рейсы всех самолетов и вертолетов по бортовому номеру. А бортовой номер вы можете найти на Federal Administration Registry, введя название интересующей вас компании. Таким образом, вы сможете отслеживать конкурентов, зная куда они летят и, соответственно, делая выводы.

Что будет в будущем?

Вот мои прогнозы на будущий “Invisible Web”.

- Однажды будет найден способ индексации невидимых web баз данных. Сейчас это пытается делать (на академическом уровне – Е.Л.) DeepDyve .

- Google будет продолжать стремиться к индексации части Невидимого Интернета. Как только будет отработан упоминавшийся выше, Google Scholar, он будет пытаться максимально полно индексировать патенты. (см. Google Patents).

- Дальнейшее использование социальных сетей для создания баз данных. Alacrawiki это хороший ресурс, но нам еще предстоит увидеть более полный агрегатор источников информации. Построенный на принципе Wiki.

- Размер Невидимого Web продолжает расти и, возможно, однажды мегапоисковые систе6мы, такие как Google перестанут справляться со своими задачами.

Я думаю, что картинка, опубликованная несколько лет назад в New York Times хорошо иллюстрирует (желаемое) будущее.

_______________________

    Category МНЕНИЕ ГУРУ     Tags

Прокомментировать

ОБО МНЕ

Последние записи

Сообщество Практиков Конкурентной разведки (СПКР)

Архивы