Понемножку обо всем
238,548
4,060
|
Хранитель Храма ( Слушатель ) |
| 01 янв 2022 21:57:21 |
Последняя гонка вооружений человечества: ООН не может договориться о запрете на использование «роботов-убийц»
новая дискуссия Статья 204
Последняя гонка вооружений человечества: ООН не может договориться о запрете на использование «роботов-убийц»
Мир не должен повторять катастрофических ошибок гонки ядерных вооружений. Это не должно переходить в антиутопию.
ДЖЕЙМС ДОУС
30 декабря 2021 г. автор The Conversation
Согласно недавнему докладу Совета Безопасности ООН о гражданской войне в Ливии, автономные системы оружия, широко известные как роботы-убийцы, возможно, впервые убили людей в прошлом году . История вполне может определить это как отправную точку следующей крупной гонки вооружений, которая может стать последней гонкой человечества.
Конвенция Организации Объединенных Наций о конкретных видах обычного оружия обсуждала вопрос о запрещении автономного оружия на своем обзорном совещании раз в пять лет в Женеве 13-17 декабря 2021 года, но не достигла консенсуса по запрету . Созданная в 1983 году конвенция регулярно обновлялась, чтобы ограничить использование некоторых из самых жестоких обычных вооружений в мире, включая наземные мины, мины-ловушки и зажигательное оружие.
Учитывая темпы исследований и разработок в области автономного оружия, заседание ООН могло быть последним шансом предотвратить гонку вооружений.
Автономные системы оружия - это роботы со смертоносным оружием, которые могут действовать независимо, выбирая и атакуя цели, без влияния человека на эти решения. Военные по всему миру вкладывают значительные средства в исследования и разработки автономного оружия. Только США выделили 18 миллиардов долларов на автономное оружие в период с 2016 по 2020 год.
Тем временем правозащитные и гуманитарные организации спешат установить правила и запреты на разработку такого оружия. Эксперты по внешней политике предупреждают, что без таких проверок прорывные технологии автономного оружия опасно дестабилизируют текущие ядерные стратегии как потому, что они могут радикально изменить представление о стратегическом превосходстве, увеличивая риск превентивных атак , так и потому, что они могут сочетаться с химическими, биологическими, радиологическими методами. и самим ядерным оружием .
Как специалист в области прав человека, специализирующийся на вооружении искусственного интеллекта , я считаю, что автономное оружие делает неустойчивый баланс и фрагментированные гарантии ядерного мира - например, минимально ограниченные полномочия президента США наносить удар - более неустойчивыми и нестабильными, более фрагментированными. Учитывая темпы исследований и разработок в области автономного оружия, заседание ООН могло быть последним шансом предотвратить гонку вооружений.
Смертельные ошибки и черные ящики
Я вижу четыре основные опасности автономного оружия. Во-первых, проблема неправильной идентификации. При выборе цели сможет ли автономное оружие отличить враждебных солдат от 12-летних, играющих с игрушечным оружием? Между мирными жителями, бегущими с места конфликта, и повстанцами, отступающими тактически?
Проблема здесь не в том, что машины будут делать такие ошибки, а люди - нет. Дело в том, что разница между человеческой ошибкой и алгоритмической ошибкой подобна разнице между отправкой письма и твиттером. Масштабы и скорость систем роботов-убийц, управляемых одним алгоритмом наведения и развернутых на всем континенте, могут сделать ошибочную идентификацию отдельных людей, такими же как недавний удар американского беспилотника в Афганистане , по сравнению с простыми ошибками округления.
Эксперт по автономному оружию Пол Шарр использует метафору беглого оружия, чтобы объяснить разницу. Убегающее оружие - это неисправный пулемет, который продолжает стрелять после спуска курка. Он продолжает стрелять до тех пор, пока не закончатся боеприпасы, потому что, так сказать, оружие не знает, что делает ошибку. Убегающее оружие чрезвычайно опасно, но, к счастью, у него есть люди-операторы, которые могут разорвать связь с боеприпасами или попытаться направить оружие в безопасном направлении. Автономное оружие по определению не имеет такой защиты.
Важно отметить, что вооруженный ИИ даже не обязательно должен быть дефектным, чтобы производить эффект беглого оружия. Как показали многочисленные исследования алгоритмических ошибок в различных отраслях, самые лучшие алгоритмы, работающие так, как задумано, могут генерировать внутренне правильные результаты, которые, тем не менее, быстро распространяют ужасные ошибки среди населения.
Например, нейронная сеть, разработанная для использования в больницах Питтсбурга, определила астму как средство снижения риска в случаях пневмонии; программное обеспечение для распознавания изображений, используемое Google, идентифицировало чернокожих как горилл ; и инструмент машинного обучения, используемый Amazon для ранжирования кандидатов на работу, систематически выставлял отрицательные оценки женщинам .
Проблема не только в том, что, когда системы ИИ ошибаются, они ошибаются в целом. Дело в том, что, когда они ошибаются, их создатели часто не знают, почему они это сделали, и, следовательно, как их исправить. Проблема черного ящика искусственного интеллекта делает практически невозможным вообразить морально ответственную разработку автономных систем оружия.
Проблемы распространения
Следующие две опасности - это проблемы распространения low-end и high-end. Начнем с нижнего предела. Военные, разрабатывающие автономное оружие, сейчас исходят из предположения, что они смогут сдерживать и контролировать использование автономного оружия . Но если история оружейных технологий чему-то и научила мир, так это тому, что распространение оружия невозможно контролировать.
Давление рынка может привести к созданию и повсеместной продаже того, что можно рассматривать как автономный оружейный эквивалент автомата Калашникова : роботов-убийц, которые дешевы, эффективны и которых практически невозможно сдержать, поскольку они распространяются по всему миру. Автономное оружие «Калашников» могло бы попасть в руки людей, неподконтрольных правительству, включая международных и внутренних террористов.
Kargu-2, сделанный турецким оборонным подрядчиком, представляет собой нечто среднее между квадрокоптером и бомбой. У него есть искусственный интеллект для поиска и сопровождения целей, и он мог использоваться автономно во время гражданской войны в Ливии для нападения на людей. Министерство обороны Украины , CC BY
Однако распространение элитного оружия так же плохо. Страны могут соревноваться в разработке все более разрушительных версий автономного оружия, в том числе способного применять химическое, биологическое, радиологическое и ядерное оружие . Моральные опасности возрастающей летальности оружия будут усилены эскалацией применения оружия.
Высококачественное автономное оружие, вероятно, приведет к учащению войн, поскольку оно ослабит две основные силы, которые исторически предотвращали и сокращали войны: забота о гражданском населении за границей и забота о собственных солдатах. Оружие, вероятно, будет оснащено дорогостоящими этическими регуляторами, призванными минимизировать побочный ущерб, используя то, что специальный докладчик ООН Агнес Калламард назвала « мифом о хирургическом ударе » для подавления моральных протестов. Автономное оружие также снизит как потребность в собственных солдатах, так и риск для них, резко изменив анализ затрат и выгод, которому страны подвергаются при развязывании и ведении войн.
Асимметричные войны, то есть войны, ведущиеся на земле стран, не имеющих конкурирующих технологий, вероятно, станут более обычным явлением. Подумайте о глобальной нестабильности, вызванной военным вмешательством Советского Союза и США во время холодной войны, от первой прокси-войны до ответной реакции, которая наблюдается сегодня во всем мире . Умножьте это на каждую страну, в настоящее время стремящуюся к высокотехнологичному автономному оружию.
Подрыв законов войны
Наконец, автономное оружие подорвет последнюю остановку человечества против военных преступлений и злодеяний: международные законы войны. Эти законы, кодифицированные в договорах, восходящих к Женевской конвенции 1864 года , представляют собой международную тонкую синюю линию, отделяющую войну с честью от резни. Они основаны на идее, что люди могут быть привлечены к ответственности за свои действия даже во время войны, что право убивать других солдат во время боя не дает права убивать мирных жителей. Ярким примером привлечения к ответственности является бывший президент Союзной Республики Югославии Слободан Милошевич , которому Международный уголовный трибунал ООН по бывшей Югославии предъявил обвинения в преступлениях против человечности и военных преступлениях.
Но как можно привлечь к ответственности автономное оружие? Кто виноват в том, что робот совершает военные преступления? Кого предадут суду? Оружие? Солдат? Солдатских командиров? Корпорацию, создавшую оружие? Неправительственные организации и эксперты по международному праву опасаются, что автономное оружие приведет к серьезному пробелу в подотчетности .
Чтобы привлечь солдата к уголовной ответственности за использование автономного оружия, которое совершает военные преступления, прокуратура должна будет доказать и actus reus, и mens rea, латинские термины, описывающие виновный акт и виновность. Это было бы сложно с точки зрения закона и, возможно, несправедливо с точки зрения морали, учитывая, что автономное оружие по своей природе непредсказуемо. Я считаю, что дистанция, отделяющая солдата от независимых решений, принимаемых автономным оружием в быстро меняющейся среде, просто слишком велика.
Правовая и моральная проблема не может быть облегчена путем перекладывания вины вверх по служебной цепочке или обратно на место производства. В мире без правил, требующих значимого человеческого контроля над автономным оружием, будут совершаться военные преступления, и военные преступники не будут привлечены к ответственности. Структура законов войны, наряду с их сдерживающим действием, будет значительно ослаблена.
Новая глобальная гонка вооружений
Представьте себе мир, в котором вооруженные силы, повстанческие группы, международные и внутренние террористы могут использовать теоретически неограниченную смертоносную силу с теоретически нулевым риском в любое время и в любом месте по своему выбору, без какой-либо юридической ответственности. Это мир, в котором неизбежные алгоритмические ошибки , от которых страдают даже такие технологические гиганты, как Amazon и Google, теперь могут привести к уничтожению целых городов.
На мой взгляд, мир не должен повторять катастрофические ошибки гонки ядерных вооружений. Это не должно переходить в антиутопию.
Мир не должен повторять катастрофических ошибок гонки ядерных вооружений. Это не должно переходить в антиутопию.
ДЖЕЙМС ДОУС
30 декабря 2021 г. автор The Conversation
Согласно недавнему докладу Совета Безопасности ООН о гражданской войне в Ливии, автономные системы оружия, широко известные как роботы-убийцы, возможно, впервые убили людей в прошлом году . История вполне может определить это как отправную точку следующей крупной гонки вооружений, которая может стать последней гонкой человечества.
Конвенция Организации Объединенных Наций о конкретных видах обычного оружия обсуждала вопрос о запрещении автономного оружия на своем обзорном совещании раз в пять лет в Женеве 13-17 декабря 2021 года, но не достигла консенсуса по запрету . Созданная в 1983 году конвенция регулярно обновлялась, чтобы ограничить использование некоторых из самых жестоких обычных вооружений в мире, включая наземные мины, мины-ловушки и зажигательное оружие.
Учитывая темпы исследований и разработок в области автономного оружия, заседание ООН могло быть последним шансом предотвратить гонку вооружений.
Автономные системы оружия - это роботы со смертоносным оружием, которые могут действовать независимо, выбирая и атакуя цели, без влияния человека на эти решения. Военные по всему миру вкладывают значительные средства в исследования и разработки автономного оружия. Только США выделили 18 миллиардов долларов на автономное оружие в период с 2016 по 2020 год.
Тем временем правозащитные и гуманитарные организации спешат установить правила и запреты на разработку такого оружия. Эксперты по внешней политике предупреждают, что без таких проверок прорывные технологии автономного оружия опасно дестабилизируют текущие ядерные стратегии как потому, что они могут радикально изменить представление о стратегическом превосходстве, увеличивая риск превентивных атак , так и потому, что они могут сочетаться с химическими, биологическими, радиологическими методами. и самим ядерным оружием .
Как специалист в области прав человека, специализирующийся на вооружении искусственного интеллекта , я считаю, что автономное оружие делает неустойчивый баланс и фрагментированные гарантии ядерного мира - например, минимально ограниченные полномочия президента США наносить удар - более неустойчивыми и нестабильными, более фрагментированными. Учитывая темпы исследований и разработок в области автономного оружия, заседание ООН могло быть последним шансом предотвратить гонку вооружений.
Смертельные ошибки и черные ящики
Я вижу четыре основные опасности автономного оружия. Во-первых, проблема неправильной идентификации. При выборе цели сможет ли автономное оружие отличить враждебных солдат от 12-летних, играющих с игрушечным оружием? Между мирными жителями, бегущими с места конфликта, и повстанцами, отступающими тактически?
Проблема здесь не в том, что машины будут делать такие ошибки, а люди - нет. Дело в том, что разница между человеческой ошибкой и алгоритмической ошибкой подобна разнице между отправкой письма и твиттером. Масштабы и скорость систем роботов-убийц, управляемых одним алгоритмом наведения и развернутых на всем континенте, могут сделать ошибочную идентификацию отдельных людей, такими же как недавний удар американского беспилотника в Афганистане , по сравнению с простыми ошибками округления.
Эксперт по автономному оружию Пол Шарр использует метафору беглого оружия, чтобы объяснить разницу. Убегающее оружие - это неисправный пулемет, который продолжает стрелять после спуска курка. Он продолжает стрелять до тех пор, пока не закончатся боеприпасы, потому что, так сказать, оружие не знает, что делает ошибку. Убегающее оружие чрезвычайно опасно, но, к счастью, у него есть люди-операторы, которые могут разорвать связь с боеприпасами или попытаться направить оружие в безопасном направлении. Автономное оружие по определению не имеет такой защиты.
Важно отметить, что вооруженный ИИ даже не обязательно должен быть дефектным, чтобы производить эффект беглого оружия. Как показали многочисленные исследования алгоритмических ошибок в различных отраслях, самые лучшие алгоритмы, работающие так, как задумано, могут генерировать внутренне правильные результаты, которые, тем не менее, быстро распространяют ужасные ошибки среди населения.
Например, нейронная сеть, разработанная для использования в больницах Питтсбурга, определила астму как средство снижения риска в случаях пневмонии; программное обеспечение для распознавания изображений, используемое Google, идентифицировало чернокожих как горилл ; и инструмент машинного обучения, используемый Amazon для ранжирования кандидатов на работу, систематически выставлял отрицательные оценки женщинам .
Проблема не только в том, что, когда системы ИИ ошибаются, они ошибаются в целом. Дело в том, что, когда они ошибаются, их создатели часто не знают, почему они это сделали, и, следовательно, как их исправить. Проблема черного ящика искусственного интеллекта делает практически невозможным вообразить морально ответственную разработку автономных систем оружия.
Проблемы распространения
Следующие две опасности - это проблемы распространения low-end и high-end. Начнем с нижнего предела. Военные, разрабатывающие автономное оружие, сейчас исходят из предположения, что они смогут сдерживать и контролировать использование автономного оружия . Но если история оружейных технологий чему-то и научила мир, так это тому, что распространение оружия невозможно контролировать.
Давление рынка может привести к созданию и повсеместной продаже того, что можно рассматривать как автономный оружейный эквивалент автомата Калашникова : роботов-убийц, которые дешевы, эффективны и которых практически невозможно сдержать, поскольку они распространяются по всему миру. Автономное оружие «Калашников» могло бы попасть в руки людей, неподконтрольных правительству, включая международных и внутренних террористов.
Kargu-2, сделанный турецким оборонным подрядчиком, представляет собой нечто среднее между квадрокоптером и бомбой. У него есть искусственный интеллект для поиска и сопровождения целей, и он мог использоваться автономно во время гражданской войны в Ливии для нападения на людей. Министерство обороны Украины , CC BY
Однако распространение элитного оружия так же плохо. Страны могут соревноваться в разработке все более разрушительных версий автономного оружия, в том числе способного применять химическое, биологическое, радиологическое и ядерное оружие . Моральные опасности возрастающей летальности оружия будут усилены эскалацией применения оружия.
Высококачественное автономное оружие, вероятно, приведет к учащению войн, поскольку оно ослабит две основные силы, которые исторически предотвращали и сокращали войны: забота о гражданском населении за границей и забота о собственных солдатах. Оружие, вероятно, будет оснащено дорогостоящими этическими регуляторами, призванными минимизировать побочный ущерб, используя то, что специальный докладчик ООН Агнес Калламард назвала « мифом о хирургическом ударе » для подавления моральных протестов. Автономное оружие также снизит как потребность в собственных солдатах, так и риск для них, резко изменив анализ затрат и выгод, которому страны подвергаются при развязывании и ведении войн.
Асимметричные войны, то есть войны, ведущиеся на земле стран, не имеющих конкурирующих технологий, вероятно, станут более обычным явлением. Подумайте о глобальной нестабильности, вызванной военным вмешательством Советского Союза и США во время холодной войны, от первой прокси-войны до ответной реакции, которая наблюдается сегодня во всем мире . Умножьте это на каждую страну, в настоящее время стремящуюся к высокотехнологичному автономному оружию.
Подрыв законов войны
Наконец, автономное оружие подорвет последнюю остановку человечества против военных преступлений и злодеяний: международные законы войны. Эти законы, кодифицированные в договорах, восходящих к Женевской конвенции 1864 года , представляют собой международную тонкую синюю линию, отделяющую войну с честью от резни. Они основаны на идее, что люди могут быть привлечены к ответственности за свои действия даже во время войны, что право убивать других солдат во время боя не дает права убивать мирных жителей. Ярким примером привлечения к ответственности является бывший президент Союзной Республики Югославии Слободан Милошевич , которому Международный уголовный трибунал ООН по бывшей Югославии предъявил обвинения в преступлениях против человечности и военных преступлениях.
Но как можно привлечь к ответственности автономное оружие? Кто виноват в том, что робот совершает военные преступления? Кого предадут суду? Оружие? Солдат? Солдатских командиров? Корпорацию, создавшую оружие? Неправительственные организации и эксперты по международному праву опасаются, что автономное оружие приведет к серьезному пробелу в подотчетности .
Чтобы привлечь солдата к уголовной ответственности за использование автономного оружия, которое совершает военные преступления, прокуратура должна будет доказать и actus reus, и mens rea, латинские термины, описывающие виновный акт и виновность. Это было бы сложно с точки зрения закона и, возможно, несправедливо с точки зрения морали, учитывая, что автономное оружие по своей природе непредсказуемо. Я считаю, что дистанция, отделяющая солдата от независимых решений, принимаемых автономным оружием в быстро меняющейся среде, просто слишком велика.
Правовая и моральная проблема не может быть облегчена путем перекладывания вины вверх по служебной цепочке или обратно на место производства. В мире без правил, требующих значимого человеческого контроля над автономным оружием, будут совершаться военные преступления, и военные преступники не будут привлечены к ответственности. Структура законов войны, наряду с их сдерживающим действием, будет значительно ослаблена.
Новая глобальная гонка вооружений
Представьте себе мир, в котором вооруженные силы, повстанческие группы, международные и внутренние террористы могут использовать теоретически неограниченную смертоносную силу с теоретически нулевым риском в любое время и в любом месте по своему выбору, без какой-либо юридической ответственности. Это мир, в котором неизбежные алгоритмические ошибки , от которых страдают даже такие технологические гиганты, как Amazon и Google, теперь могут привести к уничтожению целых городов.
На мой взгляд, мир не должен повторять катастрофические ошибки гонки ядерных вооружений. Это не должно переходить в антиутопию.
ОТВЕТЫ (0)
Комментарии не найдены!