Deep web vs dark net или приключения TOR

Несколько последних дней резко увеличилось число заходов на блог по словам «невидимый интернет», deep web и т.п. Когда в своем feedly прочла статью Ивана Бегтина «Думаешь о приватности? Тогда Они идут к тебе», причина стала понятна. Она – в посте одного из известных блоггеров Ильи Варламова «Глубокий интернет».

Прежде чем поговорим о сути, пару слов о полемике уважаемых блоггеров. Всегда с удовольствием читаю посты и материалы Ивана Бегтина, пожалуй, одного из самых серьезных специалистов по открытым данным. Однако в данном случае удивило желание Бегтина «накатать в Прокуратуру» на Варламова.  В общем-то, пост Варламова – это не что иное, как выборочный пересказ Википедии со  вставленными скринами, некоторые из которых очевидно носят фейковый характер. При этом понятно, что Варламовым двигали абсолютно разделяемые мной ненависть к педофилам и желание, чтобы правоохранительные органы эффективнее боролись с киберпреступностью.

А на счет Прокуратуры, так Иван Бегтин очень гордится своим новым проектом, который инициирован такими известными людьми, как И.Юргенс, Л.Гозман и Е. Гонтмахер. Теперь возьмем, например, недавнее высказывание Игоря Юргенса: «России мешают русские… Большая часть (народа) находится в частичной деквалификации…  Другая часть – в общей деградации» или «Какие там инновации, какая индустрия! Судьба России – вывозить нефть и другое сырье. Забудьте об остальном!» Тоже вполне «накатать» можно. Причем, думаю, поддержат такую «телегу» гораздо больше людей, чем бумагу в отношении Варламова.

Ну, а теперь к теме. Тему «Невидимого интернета» я уже разбирала в серии постов «Невидимый интернет. Часть первая», «Невидимый интернет. Часть вторая», «Невидимый интернет. Часть третья». Поэтому повторяться не буду, а акцентирую внимание на нескольких важных моментах.

Прежде всего, «глубокий веб» и «темный» или преступный веб – это, как говорили в Одессе,  две большие разницы или, как пишут математики, частично пересекающиеся множества. Т.е. подавляющая часть преступного интернета, либо dark net находится в «глубоком вебе». Но «глубокий веб» неизмеримо больше. В своей подавляющей части он абсолютно легален и состоит, прежде всего, из ресурсов, включающих как статические, так и динамические веб-страницы.  Статическая страница выполняет роль веб-интерфейса и индексируется, а динамические страницы в основном относится к «глубокому вебу». Для работы с этой наиболее интересной для конкурентной разведки частью «глубокого веба» есть специальные технологии и, прежде всего, федеративный поиск.

Другая часть «глубокого веба» – это частично индексированные ресурсы. Достаточно широкое распространение имеет практика неполной индексации всех страниц ресурса. Зачастую это осуществляется сознательно, для того, чтобы поисковик не находил данную страницу, но тем не менее зная ее точный адрес, на страницу можно было бы спокойно зайти. В этих случаях данная страница не увязывается с другими страницами путем гиперссылок и т.п. Задачу нахождения таких страниц лучше всего в мире решает программа SiteSputnik Invisible.

Третья часть законопослушного «глубокого веба» составляют сверхмассивные архивы и, напротив, сверх быстро обновляемые и исчезающие страницы.

Преступный интернет прячется, прежде всего, в различного рода анонимных сетях. Хотя, конечно,  нельзя сказать, что все анонимные сети относятся к преступному интернету, либо dark net.  В этих сетях много всяко разного. Более того, сами по себе сети в значительной степени были результатом благих начинаний, связанных с обеспечением свободы интернета и т.п. Но, как известно, благими намерениями дорога в ад выложена.

На сегодняшний день двумя наиболее популярными анонимными сетями являются TOR и I2P. Сравнительный анализ двух этих сетей показывает, что на сегодняшний день TOR гораздо более развит и его сервера расположены на всех континентах, за исключением Антарктиды. Что же касается проекта I2P или проекта «невидимый интернет», то он локализован в основном в Европе, более того, преимущественно в Германии и сопредельных странах.

Собственно пост Варламова посвящен анонимной сети TOR. Хотя многие считают TOR браузером,  это – сеть со свободным программным обеспечением. Наряду с клиентом, т.е. браузером, она включает анонимные сервера, а соответственно неиндексированные ресурсы, расположенные на этих серверах, а также имеет множество так называемых скрытых сервисов TOR. Вот эти-то анонимные сервера и соответственно неиндексируемые ресурсы, а также скрытые сервисы и делают TOR пространством dark net.

Здесь надо четко сказать, что сам по себе браузер и сеть TOR абсолютно легальны, так же как и легальны различного рода анонимайзеры. Но функционал сети TOR таков, что просто притягивает к себе состоявшихся и латентных преступников.

А теперь – об истоках и некоторых сегодняшних аспектах проекта TOR.  Хорошо известно, что TOR был создан  ВМФ США и DARPA. Он использовался, прежде всего, для осуществления различного рода разведывательных операций в киберпространстве. В 2003 году проект был рассекречен, превращен в открытое программное обеспечение и «пущен в мир». Собственно так повествует Википедия.

Может сложиться впечатление, что TOR подобен Linux и свободно, как нарастающая снежная лавина развивается сообществом разработчиков и пользователей. Это впечатление усиливается публикациями в социальных СМИ о том, что проект развивают  борцы с интернет-цензурой и прочими порождениями контроля за интернетом.

Однако если зайти на сайт проекта, то можно узнать много интересного. Во-первых, выясняется, что TOR проект – вполне себе юридическое лицо, имеющее статус бесприбыльной организации. Расположено оно в США. Более того, в проекте продолжают трудиться, в том числе те же разработчики, которые и создали проект для ВМФ США. Конечно, присутствует много независимых программистов и разработчиков. Но «чуткое руководство» имеет место быть.

Проект отлично финансируется. Среди спонсоров проекта можно обнаружить все ту же DARPA и Военно-морскую лабораторию, крупнейшие американские неправительственные организации, Национальный научный фонд США, тесно взаимодействующий с Пентагоном и разведывательным сообществом. Одним из крупнейших спонсоров проекта является Шведское агентство информационного развития. Занятным является то, что агентство действует под эгидой Правительства страны и его объявленная цель – содействие улучшению жилищных условий  бедных людей во всем мире. Еще одним крупным спонсором является Национальный христианский фонд со штаб-квартирой в Атланте. Это крупнейший грантовый христианский фонд в мире. Ну и Google в эту компанию попал.

Есть и еще один интересный аспект проекта. TOR позиционируется как анонимная, наиболее конфиденциальная сеть, за что ее привечают правозащитники и используют преступники. Однако как показывают исследования специалистов в области информационной безопасности, сеть перестает быть анонимной для так называемого «глобального» наблюдателя.  Иными словами, тот, кто сеть создал, может ее и отслеживать. Кроме того, статистические данные ряда экспортов свидетельствуют, что компьютеры, на которых установлен клиент TOR, подвержены риску атак гораздо в большей степени, чем при работе в интернете с другими браузерами, в том числе, обеспечивающими анонимность. Дело здесь не в дефектах клиента, а в характере сознательно неиндексируемых ресурсов в сети TOR и особенностях стоящих за этими ресурсами индивидуумов и групп.

В общем, вот такая странная история с проектом TOR получается.  Убежищем для dark net стала анонимная сеть TOR, созданная военными и разведкой США, и до сих пор активно финансово поддерживаемая вполне респектабельными компаниями, сообществами и фондами.