Дек
17

Наслаждение Невидимой сетью для конкурентной разведки

Материал любезно предоставлен ресурсу автором.

Эстель Метайеродин из ведущих специалистов по конкурентной разведке, адъюнкт-профессор Университета МакГилла и Университета Торонто. Собственник и руководитель компании Competia. На сайте компании очень много полезных для практиков конкурентной разведки материалов. По итогам международного мониторинга Twitter в 2010 г. Эстель Метайер была признана наиболее упоминаемым специалистом по конкурентной разведке в мире.

Знаете ли вы, что более 70% web страниц и информации не могут быть доступны поисковым системам? В мире в настоящее время доступ к содержимому в Интернете осуществляется почти исключительно с помощью Google. И лишь немногие специалисты понимают, что Google и другие поисковые системы не дают доступ к данным, в которых они нуждаются. Невидимый web, однако, содержит богатства в структурированных проверенных данных, которые имеют решающее значение для профессионалов конкурентной разведки. В этом небольшом посте будет коротко рассказано в Невидимом web, а также инструментах, которые помогут вам получить доступ к нему.

DeepWeb (также называемый Deepnet, DarkNet или Скрытый Web) относится к Всемирной Паутине и не является частью Webпространства, которая индексируется стандартными поисковыми системами.

Wikipedia.org


Почему Невидимый Интернет?

Поисковики не могут обнаружить несколько видов информации. Для упрощения я приведу здесь несколько примеров, которые наиболее актуальны для профессионалов конкурентной разведки.

Динамически создаваемые страницы

Это страницы, которые не могут быть получены на основе алгоритмов поисковых систем. Например, это касается поисковых запросов для сайтов. Которые содержат статистические данные. Поисковые алгоритмы не приспособлены для такого рода поиска и поэтому не могут дать пользователю доступ к таким данным. Примером является сайт Всемирного банка по статистике.

Исключенные страницы

Некоторые владельцы сайтов предпочитают избегать появления тех или иных Web страниц сайтов в поисковых системах. Например, они не указывают метатеги, используют другие приемы. Это может быть проблемой, когда вы ищите конкретные технологии или компании, которые добровольно хотят остаться «под радаром».

Базы данных

Большая часть мира структурированных данных была организована в базах данных, которые полностью доступны, но требуют от пользователя точно знать ключевые слова, чтобы найти информацию, в которой он нуждается. Вот несколько примеров:

- Статьи газет. Например «Financial Times», которые предлагают свободно ля пользователей свои полные архивы.

- European Patents, благодаря которому вы можете получить доступ к списку патентов, имеющихся в европейских патентных ведомствах.

- Учредительные документы. При исследовании частных компаний обращение, например, к такому ресурсу, как Учредительные документы позволят вам получить доступ к информации о собственности, составе совета директоров и т.п. Подобные ресурсы имеются во многих государствах.

- Финансовая информация. Вы можете найти ее, например, на доступ к финансовой информации по американским компаниям. (Такие же ресурсы имеются в большинстве стран, в том числе в России – Е.Л.).

Однако если вы будете использовать поисковые системы для извлечения нужной информации на этих сайтах напрямую, то страницы индексироваться поисковиком не будут. Ключевые слова надо вводить вручную. Происходит это, если информация не была предоставлена постранично владельцами ресурсов, и, соответственно, не может быть проиндексирована поисковой системой. (Например, научные публикации для Google, теперь доступные для Google Scholar).

Вот очень хорошая схема Невидимого Интернета, взятая из классической работы Шермана и Прайса.

Что означает Невидимый Web конкурентной разведки

Понимание и умение работать в Невидимом Web – это один из ключевых навыков профессионалов конкурентной разведки, прежде всего, по двум причинам.

- доступ к структурированным данным. Наши исследования показывают, что более чем 70% данных, необходимых для конкурентного анализа хранится в структурированных базах данных, например, таких, как упомянутые выше. Поэтому крайне важно знать, как использовать эти источники.

- способность слушать слабые сигналы. Слабые сигналы важны для тех, кто отслеживает новые технологии, тенденции, первые признаки активности конкурентов. Чтобы услышать их, бросьте Google и нырните в Невидимый Web.

Встречайте «первооткрывателей»

Когда есть рынок, есть продукты «первооткрыватели», которые позволяют исследователям отследить путь к тем базам данных, в которых они так нуждаются. К сожалению, пока у немногих таких первооткрывателей дело поставлено должным образом. Зачастую, они не организованы и не очень функциональны.

Я приведу образцы «первооткрывателей», которые эффективны и которые я практически использую:

- Complete Planet. Предоставит вам доступ более чем к 70 000 баз данных. Все они организованы в различные категории и легко найти то, в чем вы нуждаетесь. Есть, правда, одно предостережение. Я заметила, что количество 70 000 баз данных не изменилось за год. И я до конца не убеждена, насколько часто они обновляются.

- Infomine. Академическая Интернет-коллекция. Базы данных организованы большими категориями, например, биомедицинские науки, правительство, бизнес и экономика и т.п.

- Alacrawiki. Для знакомых с Википедией система будет понятная. Она является результатом коллективной работ экспертов, которые постоянно предоставляют вам лучшие ресурсы, чтобы исследовать промышленность. Когда вы будете пользоваться этим ресурсом, используйте максимально широкие ключевые слова, чтобы получить доступ к базам данных по определенным отраслям промышленности. Например, проверьте Alacrawiki-retail или Alacrawiki-oil для розничной торговли и нефтедобывающей промышленности.

- CloserLook . Базируется в Монреале. CloserLook разработал специальный движок, который ищет в Невидимом Интернете базы данных, включая корпоративные данные. Сегодня сайт охватывает базы только в Северной Америке. Каждый поисковый запрос по компании, включающий учредительные документы, патентные товарные знаки, списки сотрудников, судебные иски в ожидании и т.д. стоит 0,99$.

Золотые самородки

Иногда можно обнаружить интересные источники информации о Невидимом Интернете. Вот несколько примеров интересных источников информации:

- Flightaware даст вам доступ ко всем планам полетов, сайт был разработан, чтобы позволить отслеживать коммерческие и частные рейсы всех самолетов и вертолетов по бортовому номеру. А бортовой номер вы можете найти на Federal Administration Registry, введя название интересующей вас компании. Таким образом, вы сможете отслеживать конкурентов, зная куда они летят и, соответственно, делая выводы.

Что будет в будущем?

Вот мои прогнозы на будущий “Invisible Web”.

- Однажды будет найден способ индексации невидимых web баз данных. Сейчас это пытается делать (на академическом уровне – Е.Л.) DeepDyve .

- Google будет продолжать стремиться к индексации части Невидимого Интернета. Как только будет отработан упоминавшийся выше, Google Scholar, он будет пытаться максимально полно индексировать патенты. (см. Google Patents).

- Дальнейшее использование социальных сетей для создания баз данных. Alacrawiki это хороший ресурс, но нам еще предстоит увидеть более полный агрегатор источников информации. Построенный на принципе Wiki.

- Размер Невидимого Web продолжает расти и, возможно, однажды мегапоисковые систе6мы, такие как Google перестанут справляться со своими задачами.

Я думаю, что картинка, опубликованная несколько лет назад в New York Times хорошо иллюстрирует (желаемое) будущее.

_______________________

    Category МНЕНИЕ ГУРУ     Tags

Прокомментировать

 
ОБО МНЕ

Последние записи

Сообщество Практиков Конкурентной разведки (СПКР)

Архивы