Хорошее и плохое в Deep Web

Автор Пьерлуиджи Паганини, Директор по информационной безопасности Bit4Id SRL, эксперт, специалист по вопросам безопасности Совета EC по этичному хакерству, постоянный автор популярного журнала The hackers News, основатель популярного ресурса по безопасности www.securityaffairs.co/wordpress/ .

В настоящее время вместе со своим соавтором Ричардом Амаросом готовит к изданию книгу «The deep dark web. The hidden world». Как рассказал г-н Паганини в нашей переписке, в настоящее время он размышляет о переводе книги на русский язык. Пьерлуиджи Поганини рад переводу поста на русский язык и искренне приглашает всех русскоязычных читателей к себе на ресурс, где содержится много интересной и практически полезной информации по глубокому вебу, кибервойнам, этичному хакерсту и информационной безопасности.

Часть первая.

Deep web – это множество информационных ресурсов во всемирной паутине, которые не индексируются универсальными и вертикальными поисковыми машинами. Эта часть веба практически неизвестна для подавляющего большинства пользователей интернета. Обычные юзеры бывают буквально потрясены, когда узнают о том, что Deep web превышает по своей информационной емкости доступный им интернет как минимум более чем в 500 раз.

Основатель одной из первых компаний,  профессионально занимающихся поиском в глубоком вебе для клиентов BrightPlanet, сравнил интернет и глубокий веб с глубинами океана и поверхностью. Естественно, что поверхность – это совсем маленькая даже не часть, а пленка океана.

Причин существования Deep web по меньшей мере три. Первая  связана с особенностями индексации поисковых машин, а также теми или иными программными решениями, используемыми при создании сайтов. Вторая причина связана с тем, что как правительства, так и их противники – диссиденты нуждаются в каналах тайного обмена документами и сообщениями, и в местах хранения этих документов. Эти места должны быть таковы, чтобы они могли быть доступными для любого человека, использующего компьютер.

И, наконец, третья причина связана с тем, что человеческая жизнь такова, что практически повсюду, где появляется человек и ведет свою нормальную законопослушную деятельность, вслед за ним проникает преступность, криминал. Зло следует за добром и в реале, и в виртуале. И естественно в глубокий веб преступность не замедлила придти.

Начнем с первой группы ресурсов, относящихся к Deep web.

Поисковики не слишком эффективны для индексации следующих типов ресурсов:

• динамический контент. Это динамические страницы, которые возвращаются в ответ на поставленный запрос. Особенно сложно индексировать те динамические страницы, которые для своего формирования требуют заполнения полей в виде текста, предполагающего знания в той или иной предметной области.
• Несвязанные страницы. Это страницы ресурсов, которые не имеют входящих и/или обратных ссылок. В одних случаях это делается намерено. Тогда попасть на страницу можно только точно зная ее полный адрес. В большинстве же случаев такие страницы появляются из-за небрежности программистов или ошибок блогеров.
• Частный веб.  Сайты, которые требуют регистрации входа в систему, защищенные обязательным паролем доступа к ресурсу.
• Контекстный веб. Страницы с различным контентом для разных групп доступа. В качестве примера формирования групп можно привести использование диапазона IP адресов клиентов.
• Ограниченный доступ к контенту. Сайты, которые ограничивают доступ к контенту техническим способом. Основной тип – это использование изощренной каптчи  или применение программных средств, запрещающих поисковым системам просматривать те или иные сайты и создавать их кэшированные копии.
• Визуальные страницы. Главные страницы, представляющие собой флэш анимацию, а также использующие продвинутые решения JavaScript.
• Non-HTML – текст содержание. В интернете все чаще встречаются страницы, где то или иное текстовое содержание закодировано в мультимедиа, размещенном на первой странице. На таких страницах текст появляется только тогда, когда вы нажмете на определенный фрагмент изображения.
• Текстовой контент, использующий протокол Gopher и файлы, размещенные на FTP, которые не индексируются универсальными поисковиками. Например, наиболее популярный поисковик в мире Google не индексирует страницы за пределами протоколов HTTP или HTTPS.

Теперь перейдем от Deep web к Dark Web.

И начать эту тему надо с TOR. TOR – это сокращение от « The opinion router». Первоначально проект финансировался  научно-исследовательской лабораторией военно-морского флота США , а в настоящее время поддерживается EFF и целым рядом неправительственных организаций.

TOR был создан для поддержания конфиденциальности и анонимности. Среди юзеров бытует мнение, что TOR невозможно отследить, и он обеспечивает анонимность. Это неправда. Отследить TOR можно, но это весьма трудно и затратно, т.к. данные шифруются несколько раз, проходя через узлы сети TOR. Таким образом, вопрос степени анонимности при использовании TOR – это, прежде всего, вопрос степени заинтересованности и размера ресурсов, которыми располагает отслеживающий относительно отслеживаемого.

Система TOR базируется на клиентском программном обеспечении, которое через всемирную сеть пользователей поддерживает скрытый интернет-трафик.

Как работает сеть TOR? Представьте себе сюжет, когда Алиса должна связаться по сети TOR с Бобом. Давайте посмотрим шаг за шагом, как они это будут делать.

Исходно она не зашифрованным образом подключится к серверу, содержащему каталог TOR узлов. Затем произойдет случайное подключение с другим узлом через шифрованное соединение. Эта операция будет повторяться несколько раз. При этом установлено, что при одном соединении один и тот же пользователь не может дважды быть направлен к одному и тому же узлу.

Еще одно важное обстоятельство состоит в том, что для поддержания анонимности установлено, что соединение имеет фиксированную продолжительность. Для того чтобы избежать статистического анализа, каждые 10 минут соединение прерывается и перенаправляется на другой узел.

Следует отметить, что как только Алиса начинает использовать свой компьютер в качестве клиента для подключения к сети TOR, ее компьютер также может быть использован в качестве узла для маршрутизации с других узлов для обеспечения анонимной связи между пользователями.