АНБ глазами блондинки. Софт «Дворца головоломок»

Тема программных продуктов и платформенных решений, используемых в АНБ, строго засекречена. Поэтому любые книги, статьи или посты о софте, применительно к АНБ носят гипотетический характер. Однако, ряд решений, принятых в Соединенных Штатах в последние два-три года, позволяют с достаточной степенью достоверности судить о программах и сервисах, используемых в Форт-Миде.

В результате решений Администрации Обамы, а также сложной, во многом подковерной, борьбы различных групп влияния в американском разведывательном сообществе, в итоге сформировался взгляд на АНБ, как своего рода IT отдел корпорации «Разведывательное сообщество США».

Также как любой IT отдел, он в решающей степени отвечает за хард и софт, за администрирование и обучение пользователей эффективному применению имеющихся информационных технологий. При этом в качестве пользователей выступает разведывательное сообщество США. Оно по официальным данным включает в себя 16 служб и агентств и координируется Директором Национальной разведки.

Однако, в условиях борьбы с терроризмом, первоначально представленным Аль-Каидой и ей подобными организациями, а теперь – негосударственными информационно-компьютерными кибертеррористическими сетями и регулярными подразделениями кибервойск потенциальных противников, размеры разведывательного и контртеррористического сообщества США заметно увеличились.

По данным знаменитого проекта «Тор Secret America», в это сообщество в настоящее время входят почти 1300 государственных агентств, служб, организаций и подразделений и 2000 частных компаний. Всего в этом сообществе задействованы более 850 тыс. человек, что почти в полтора раза превышает население Вашингтона. Следует подчеркнуть, что этот проект реализовали ни маргиналы, а  одна из наиболее авторитетных американских газет «Вашингтон пост».

В условиях все возрастающего государственного долга Барак Обама еще в 2010 году принял ряд важных решений в отношении расходов на информационные технологии в военно-разведывательном комплексе США. В основном они сводятся к следующему:

- во-первых, максимально возможной унификации ПО, сервисов, платформ, применяемых в различных агентствах и структурах комплекса;

- во-вторых, разрешению, и более того, поощрению, широкого использования в государственном секторе программ, сервисов и разработок, которые имеют коммерческое применение и реализуются как корпорациям, так и частным пользователям;

- в-третьих, снятию запрета на использование военно-разведывательным сообществом разработок, базирующихся на решениях с открытым кодом, а также продуктов зарубежных компаний, на которые так или иначе распространяется юрисдикция США.

Все это в совокупности позволяет примерно представить картину значительной части софта, используемого в «призрачной» структуре во главе с АНБ.

Начнем с софта, позволяющего извлекать сведения из информации, поступающей по каналам основных программ Агентства, например, таких как «Эшелон», «Титан», «Буря», «Эйнштейн», «Интернет Игл» и т.п. Еще в доинтернетную эпоху Биллом Гамильтоном была разработана знаменитая программа Prosecutor’s Management Information System или PROMIS. Хотя программа официально признана АНБ не существующей, тем не менее, по ней идут многочисленные судебные процессы между разработчиком программы и его командой и Правительством США. Впервые об этой программе стало известно благодаря книге, получившей высшую журналистскую премию, «Пересекая Рубикон» Майкла Рупперта. Вот уже 30 лет программа непрерывно совершенствуется собственными разработчиками АНБ.

Суть программы состоит в следующем. Она способна одновременно интегрировать неограниченной объем  информации, получаемой при помощи любого количества компьютерных программ и содержащегося в любом количестве баз данных, независимо от их типов, языков, на которых написаны оригинальные программы, архитектуры операционных систем и платформ, откуда извлекается информация. Насколько известно, аналогов PROMIS  до сих пор в мире не имеется.

В последние годы резко возросли объемы информации, поступающей в виде видео и аудио контента. С большой долей вероятности вот уже пару лет Агентство использует программные решения Hitachi, которые способны за секунду распознавать любое лицо из базы данных, в которой может храниться информация на сегодняшний момент более чем о 50 млн. лиц. С каждым месяцем объемы базы увеличиваются. По оценке корпорации к 2015 г. база может изменяться примерно миллиардом персон. Коммерческие малоразмерные версии программы, способные распознавать любое лицо, либо объект в потоковом видео, доступны сегодня не только корпорациям, но даже  и частным пользователям.

Агентство Национальной Безопасности использует в настоящее время систему распознавания голоса по данным, извлекаемым из прослушки телефонных разговоров, либо видеопередач. Точность распознавания в настоящее время составляет 90%. В течение пяти секунд программа способна сканировать 10 тыс.голосов. При этом программа предполагает параллельные вычисления. Поэтому, строго говоря, объем одновременно сканируемых голосов, ничем не ограничен. Предположительно, программа создана российскими разработчиками компании «Центр речевых технологий». Американцы используют программу, поставляемую компанией SpeechPro, американской дочкой российской компании.

C появлением социальных сетей и социальных медиа, охватом ими подавляющего большинства населения планеты, АНБ самое пристальное внимание уделяет извлечению первичной информации из этих источников. В прошлом году один из крупнейших подрядчиков Пентагона – корпорация Raytheon BBN создал компьютерную систему, которая автоматически составляет досье на граждан и организации, собирая информацию из открытых источников. Фактически, эта программа делает то же самое, что и армия редакторов Википедии — изучает средства информации, извлекает из них новые факты и дописывает их в энциклопедическую статью со ссылкой на источник информации. Только всё делается автоматически. Программа на сегодняшний день работает более чем с 25 тыс.  источников, собирает и обрабатывает информацию на английском, французском, итальянском, испанском, португальском, русском, китайском и арабском языках.  В данное время решается задача, чтобы она могла извлекать информацию не только из социальных сетей и текстовых источников, но и работать с потоковым видео и аудио каналами.

Получаемая по всем каналам разнородная информация, прошедшая первичную обработку при помощи программ извлечения субъектов, объектов и т.п. из текстовых данных, потокового видео и аудио потоков, поступает в видимо самое гигантское хранилище информации в мире. По имеющейся информации, оно базируется на решениях типа Hadoop, а также различного рода NoSQL баз данных. Кстати известно, что  не так давно правительство закупило видимо для Агентства гигантскую новую базу данных объектно-сетевого типа компании Интерсистемс. Указанная СУБД в определенной мере базируется еще на советских разработках, использовавшихся КГБ СССР.

В отличие от привычной архитектуры, в Агентстве  хранилища данных и базы данных реализованы не на одном сервере, а на сети суперкомпьютеров, соединенных в кластеры. Есть основания полагать, что система баз данных и хранилищ структурированной и неструктурированной информации Агентства, весьма похожа на архитектуру, используемую Google.

Во второй части поста «Софт Дворца головоломок» пойдет речь об аналитических и прогнозных программах, предположительно используемых Агентством.