29 сентября 2021 года.
Автономные системы вооружений — широко известные как роботы-убийцы — возможно, впервые в истории убили людей в прошлом году, согласно недавнему докладу Совета Безопасности ООН о гражданской войне в Ливии. История вполне может определить это как начало следующей крупной гонки вооружений, которая может стать последней для человечества.
Автономные системы вооружений — это роботы со смертоносным оружием, которые могут действовать самостоятельно, выбирая и атакуя цели без участия человека. Вооруженные силы по всему миру вкладывают значительные средства в исследования и разработку автономного оружия. Только США заложили в бюджет 18 миллиардов долларов на автономное оружие в период с 2016 по 2020 год.
В то же время правозащитные и гуманитарные организации спешат ввести правила и запреты на разработку такого оружия. Эксперты в области внешней политики предупреждают, что без таких сдержек разрушительные технологии автономного оружия опасно дестабилизируют нынешние ядерные стратегии, как потому, что они могут радикально изменить представления о стратегическом доминировании, увеличивая риск упреждающих атак, так и потому, что они могут стать комбинацией химического, биологического, радиологического и ядерного оружия.
Как специалист по правам человека, специализирующийся на использовании искусственного интеллекта в качестве оружия, я считаю, что автономное оружие делает неустойчивые балансы и фрагментарные гарантии ядерного мира — например, минимально ограниченные полномочия президента США на нанесение удара — еще более неустойчивыми и фрагментарными.
Смертельные ошибки и черные ящики
Я вижу четыре основные опасности, связанные с автономным оружием. Первая — это проблема неправильной идентификации. Сможет ли автономное оружие при выборе цели отличить враждебных солдат от 12-летних детей, играющих с игрушечными пистолетами? Между мирными жителями, бегущими из места конфликта, и повстанцами, совершающими тактическое отступление?
Проблема не в том, что машины будут совершать такие ошибки, а люди — нет. А в том, что разница между ошибкой человека и ошибкой алгоритма подобна разнице между отправкой письма по почте и твитом. Масштаб, размах и скорость систем роботов-убийц — управляемых одним алгоритмом целеуказания и развернутых на всем континенте — могут привести к тому, что ошибки отдельных людей, например, недавний удар американского беспилотника в Афганистане, покажутся просто ошибками округления по сравнению с ними.
Эксперт по автономному оружию Пол Шарре использует метафору бегущего пистолета, чтобы объяснить разницу. Беглый пистолет — это неисправный пулемет, который продолжает стрелять после того, как спущен курок. Оружие продолжает стрелять до тех пор, пока не закончатся боеприпасы, потому что, так сказать, оружие не знает, что совершает ошибку. Беглые пушки чрезвычайно опасны, но, к счастью, у них есть люди-операторы, которые могут прервать связь между боеприпасами или попытаться направить оружие в безопасное русло. Автономное оружие, по определению, не имеет такой защиты.
Важно отметить, что для возникновения эффекта «бегущей пушки» оружейный ИИ даже не обязательно должен быть неисправным. Как показали многочисленные исследования алгоритмических ошибок в разных отраслях, самые лучшие алгоритмы, работающие так, как они задуманы, могут генерировать внутренне правильные результаты, которые, тем не менее, быстро распространяют ужасные ошибки среди населения.
Например, нейронная сеть, разработанная для использования в больницах Питтсбурга, определила астму как фактор, снижающий риск заболевания пневмонией; программное обеспечение для распознавания изображений, используемое компанией Google, определило афроамериканцев как горилл; а инструмент машинного обучения, используемый компанией Amazon для ранжирования кандидатов на работу, систематически присваивал женщинам отрицательные баллы.
Проблема не только в том, что когда системы ИИ ошибаются, они ошибаются массово. Дело в том, что, когда они ошибаются, их создатели часто не знают, почему они это сделали и, следовательно, как их исправить. Проблема «черного ящика» ИИ делает практически невозможным представить себе морально ответственную разработку автономных систем вооружений.
Проблемы распространения
Следующие две опасности — это проблемы распространения low-end и high-end. Начнем с низкого уровня. Вооруженные силы, разрабатывающие автономное оружие, исходят из того, что они смогут сдерживать и контролировать его применение. Но если история развития оружейных технологий чему-то и научила мир, так это следующему: Оружие распространяется.
Давление рынка может привести к созданию и широкой продаже того, что можно считать эквивалентом автомата Калашникова: роботов-убийц, дешевых, эффективных и практически не поддающихся сдерживанию, поскольку они распространяются по всему миру. Автономное оружие «Калашникова» может попасть в руки неподконтрольных правительству людей, включая международных и внутренних террористов.
Распространение высокотехнологичного оружия не менее опасно. Государства могут соревноваться в разработке все более разрушительных версий автономного оружия, в том числе способных устанавливать химическое, биологическое, радиологическое и ядерное оружие. Моральная опасность эскалации смертоносности оружия будет усиливаться эскалацией его применения.
Высокотехнологичное автономное оружие, скорее всего, приведет к более частым войнам, потому что оно уменьшит две основные силы, которые исторически предотвращали и сокращали войны: заботу о гражданском населении за рубежом и заботу о собственных солдатах. Оружие, скорее всего, будет оснащено дорогостоящими этическими регуляторами, призванными минимизировать побочный ущерб, используя то, что специальный докладчик ООН Агнес Калламар назвала «мифом о хирургическом ударе», чтобы подавить протесты морали. Автономное оружие также снизит потребность в собственных солдатах и риск для них, кардинально изменив анализ затрат и выгод, которому подвергаются страны при развязывании и ведении войн.
Асимметричные войны — то есть войны, ведущиеся на территории стран, не обладающих конкурирующими технологиями, — скорее всего, станут более распространенными. Вспомните глобальную нестабильность, вызванную военными интервенциями СССР и США во время холодной войны, начиная с первой прокси-войны и заканчивая ответной реакцией, которая наблюдается сегодня по всему миру. Умножьте это на все страны, которые в настоящее время нацелены на создание высокотехнологичного автономного оружия.
Подрыв законов войны
Наконец, автономное оружие подорвет последнюю защиту человечества от военных преступлений и зверств: международные законы войны. Эти законы, кодифицированные в договорах, заключенных еще в Женевской конвенции 1864 года, являются международной тонкой синей линией, отделяющей войну с честью от массовых убийств. В их основе лежит идея о том, что люди могут отвечать за свои действия даже во время войны, что право убивать других солдат во время боя не дает права убивать мирных жителей. Ярким примером того, как кто-то был привлечен к ответственности, является Слободан Милошевич, бывший президент Союзной Республики Югославия, которому Международный уголовный трибунал ООН по бывшей Югославии предъявил обвинения в гуманности и военных преступлениях.
Но как можно привлечь к ответственности автономное оружие? Кто виноват в том, что робот совершает военные преступления? Кто должен предстать перед судом? Оружие? Солдат? Командиры солдата? Корпорация, создавшая оружие? Неправительственные организации и эксперты в области международного права опасаются, что автономное оружие приведет к серьезному пробелу в системе ответственности.
Чтобы привлечь солдата к уголовной ответственности за развертывание автономного оружия, совершающего военные преступления, обвинителям придется доказать как actus reus, так и mens rea — латинские термины, описывающие виновное действие и виновный ум. Это будет сложно с точки зрения закона и, возможно, несправедливо с точки зрения морали, учитывая, что автономное оружие по своей природе непредсказуемо. Я считаю, что дистанция, отделяющая солдата от независимых решений, принимаемых автономным оружием в быстро меняющихся условиях, просто слишком велика.
Правовую и моральную проблему не облегчит перекладывание вины на командование или на место производства. В мире, где отсутствуют нормативные акты, предписывающие значимый человеческий контроль над автономным оружием, будут совершаться военные преступления, а военные преступники не будут привлечены к ответственности. Структура законов войны, а также их сдерживающая ценность будут значительно ослаблены.
Новая глобальная гонка вооружений
Представьте себе мир, в котором военные, повстанческие группировки, международные и внутренние террористы могут применять теоретически неограниченную смертоносную силу с теоретически нулевым риском в любое время и в любом месте по своему усмотрению, не неся при этом никакой юридической ответственности. Это мир, где неизбежные алгоритмические ошибки, от которых страдают даже такие технологические гиганты, как Amazon и Google, теперь могут привести к уничтожению целых городов.
На мой взгляд, мир не должен повторять катастрофические ошибки гонки ядерных вооружений. Он не должен во сне погружаться в антиутопию.
Автор: Джеймс Доус, профессор английского языка, колледж Макалестер.
