Тред №1061455

Издание Ars Technica опубликовало большой материал о работе программы Агентства национальной безопасности США под названием SKYNET. С её помощью АНБ выявляет и уничтожает потенциальных террористов в Пакистане. Эксперты называют алгоритмы SKYNET «полной чушью». Apparat публикует сокращенный перевод материала.


Согласно документам, опубликованным в прошлом году изданием Intercept, SKYNET основана на массовой слежке за мобильными сетями в Пакистане и алгоритме машинного обучения, который анализирует метаданные о звонках 55 миллионов людей и оценивает вероятность причастности каждого из них к террористическим организациям.

Аналитик данных Патрик Болл, являющийся директором исследований Human Rights Data Analysis Group, рассказал Ars Technica, что алгоритм, с помощью которого АНБ обучает SKYNET анализировать мобильные метаданные, является научно недостоверным. Патрик называет методы АНБ «неуместно оптимистичными», а алгоритмы — «полной чушью».
По данным Бюро расследовательной журналистики, с 2004 года беспилотники убили от 2500 до 4000 людей в Пакистане. Большинство из них были классифицированы американским правительством как «экстремисты». По оценкам Intercept, разработка программы машинного обучения началась не ранее 2007 года.
SKYNET работает подобно коммерческим программам обработки больших данных. Программа собирает метаданные, сохраняет их на облачных серверах АНБ, извлекает из них релевантную информацию, и затем с помощью машинного обучения выявляет потенциальные цели для таргетированной кампании. Но, в отличие от коммерческих приложений, целью кампании являются не продажи, а уничтожение потенциально опасных личностей с помощью беспилотников или наземных военных бригад.
"С помощью метаданных мы можем измерить привычки, круг общения и паттерны перемещения отдельных личностей"
SKYNET собирает данные не только о звонках пользователей мобильных сетей (время, длительность, кто кому звонил), но и о их местоположении, что позволяет строить схемы их перемещений. Выключение мобильного телефона помечается системой как попытка избежать слежки. Смена SIM-карт помечается аналогично — идентификаторы телефонов вшиты в сами устройства, смена карточек на них никак не влияет.
Согласно слайдам из внутренней презентации АНБ, система отслеживает даже смену телефона. Журналисты Ars Technica предполагают, что это возможно благодаря анализу других метаданных, которые не изменяются со сменой телефона, таких как местоположение, перемещение и список контактов.
Параметры, используемые при оценке "террористичности": паттерны перемещения, аналитика поведения
На основании этого массива метаданных SKYNET составляет типичные для людей рутины — кто с кем путешествует, у кого есть общие знакомые, кто проводит ночь с друзьями, посещает другие страны или и вовсе покидает страну. Алгоритм машинного обучения учитывает более 80 параметров при оценке потенциальной «террористичности» человека. Он основан на предположении о том, что поведение террористов значительно отличается от поведения обычных граждан. Тем не менее, как показали документы, опубликованные Intercept, наиболее высоко оцененной целью алгоритма стал журналист Ахмед Заидан, шеф бюро Аль-Джазиры в Исламабаде.
Самая высоко оцененная алгоритмом цель из посещающих Пешавар и Лагор - шеф бюро Аль-Джазиры в Исламабаде Ахмед Заидан
Заидан часто ездил в регионы с повышенной активностью террористов для того, чтобы брать интервью у повстанцев и сообщать оттуда новости. Но вместо того, чтобы разобраться, почему алгоритм выдал такой странный результат, его разработчики из АНБ напротив, включили слайд с Заиданом в свою внутреннюю презентацию как пример успешной работы алгоритма, представив журналиста как «члена Аль-Каиды».
Для обучения алгоритма машинного обучения необходимо «скормить» ему примеры данных реальных террористов. Но проблема в том, что у АНБ нет таких данных, а настоящие террористы вряд ли согласятся пройти опрос от АНБ, отмечает Ars Technica. При обучении алгоритма за основу были взяты данные об известных курьерах террористов.
Население Пакистана — 192 миллиона человек. На момент создания презентации АНБ в 2012 году в стране было 120 миллионов телефонов, из которых Агентство использовало для анализа 55 миллионов. Алгоритм классификации SKYNET анализирует метаданные и, сравнивая их с набором данных от известных курьеров, присваивает каждому пользователю оценку.
Пример отчета о поездке от SKYNET
Алгоритм классификации присваивает каждому из 80 параметров цифровое значение, а затем с помощью машинного обучения оценивает вероятность того, что пользователь телефона является террористом. При этом, согласно слайдам, пороговое значение «ложных негативных оценок» при оценке составляет 50%. Это означает, что при таком пороге половина людей, подпадающих под оценку «террорист», считаются невиновными.
Журналисты Ars Technica отмечают: неизвестно, оставили ли порог в 50% из презентации 2012 года в дальнейшем при составлении списка целей. Тем не менее, проблема ложных позитивных оценок осталась.
Патрик Болл объясняет: чем выше порог ложных негативных оценок, тем больше уверенность АНБ в том, что оставшиеся позитивные оценки — верные.
"Cтатистические алгоритмы могут выявлять курьеров с очень низким уровнем ложных оценок, если мы будем отбрасывать половину из них"
Один из слайдов АНБ гласит: «Cтатистические алгоритмы могут выявлять курьеров с очень низким уровнем ложных оценок, если мы будем отбрасывать половину из них». Но насколько низок этот «низкий уровень» ложных оценок АНБ на самом деле?
Болл объясняет: проблема в том, какие данные берутся за основу для обучения алгоритма. АНБ оценивает качество работы SKYNET с помощью набора данных 100 000 случайно выбранных пользователей и данных семи известных террористов. Данные шести из них используются для обучения программы, которая потом должна найти седьмого в общем массиве данных. Результаты этого теста и дают процент ложных позитивных оценок на слайде выше.
У АНБ слишком мало «известных» террористов, чтобы использовать их данные и для обучения, и для тестирования алгоритма, говорит Болл. «Нельзя тестировать алгоритм на тех же данных, на которых он обучается. Обычно часть данных оставляют вне процесса обучения. В тесте должны быть записи, с которыми алгоритм ранее не сталкивался. Без этого оценка пригодности алгоритма получается чрезмерно завышенной.»
К тому же, «известные» террористы формируют плотно связанный между собой кластер, в то время как любой маленький граф случайно выбранных граждан будет практически несвязанным. Методически правильно было бы смешать известных террористов с обычными гражданами до формирования случайной выборки тестовых данных. Но из-за их мизерного количества это не имеет смысла.
То, что кажется академическими тонкостями, по словам Болла, критически влияет на качество работы алгоритма, приводит к некорректной классификации людей как «террористов» и их последующему уничтожению. К тому же, используемый алгоритм машинного обучения (метод случайного леса) склонен к так называемому переобучению — часто он плохо работает с данными, которые не участвовали в обучении и завышает результаты оценки.
0,18% от 55 миллионов - это 99 000 людей, потенциально записанных в "террористы"
При пороговом значении «ложных негативных оценок» в 50% (при котором половина вероятных террористов не попадают под такую классификацию), показатель ложных позитивных оценок составляет 0,18%. В масштабах Пакистана это означает потенциальные гибели тысяч невиновных людей. 0,18% от 55 миллионов — это 99 000 людей.
Алгоритм предполагает, что среди населения много террористов, что на самом деле не так — террористы составляют очень малую часть населения. К тому же, модель не способна распознать террористов, чье поведение отлично от поведения уже зафиксированных террористов, на которых обучили модель.
Самые качественные коммерческие приложения, обрабатывающие большие данные, имеют показатель ошибочной оценки в 0,008%. Это допустимое отклонение, когда ошибкой является показ баннера не тому пользователю или неправильное списание со счета. Но 0,008% населения Пакистана — это 15 000 человек, которые могут быть по ошибке классифицированы и уничтожены как террористы.
Авторы Аrs Technica отмечают, что многие факты про SKYNET остаются неизвестными. «Рассматривают ли аналитики SKYNET данные каждого подозреваемого в терроризме перед его уничтожением? Предпринимаются ли попытки задержать подозреваемых в терроризме? Как может правительство США быть увереным в том, что не убивает невиновных граждан, если алгоритм, составляющий расстрельные списки, имеет такие явные недостатки?»
Документы АНБ, утекшие в сеть, совершенно точно говорят об одном: тысячи невиновных людей получают отметку «террорист». Что с ними происходит потом, неизвестно. Составить полную картинку практически невозможно — АНБ не ответило на вопросы издания Аrs Technica ни до, ни после публикации.
Кристиан Гротофф и Джей Порап завершают свой материал опасением о том, что власти смогут использовать подобные программы и внутри США. Например, для выявления наркоторговцев, протестующих и других потенциально опасных личностей. «Легко игнорировать убийство людей на основании метаданных в далекой стране. Но что будет, если SKYNET будет обращен, если уже не обращен, против нас?»




Так что Скайнет существует. И пока тренируется, так сказать на кошках.