Мертворождённая идея: ООН планирует запретить военный искусственный интеллект

Рои дронов с искусственным интеллектом сейчас представляют наибольшую опасность. 

Первое предупреждение

Будущее, как известно, не предопределено, но попытаться повлиять на него хотят многие. В Женеве с 13 по 17 декабря состоится шестая конференция, рассматривающая работу Конвенции об обычных вооружениях. Напомним, что сам институт конвенции зародился в 1980 году и был призван ограничить распространение отдельных видов оружия, наносящих чрезмерные повреждения. В общей сложности были подписаны пять протоколов, запрещающих необнаруживаемые медицинскими приборами осколки и фрагменты боеприпасов, мины-ловушки, зажигательное оружие, ослепляющие лазеры, кассетные бомбы и боеприпасы без устройств самоликвидации. Большинство стран мира подписали данную конвенцию, только с небольшими оговорками. Как водится в мировой политике, подписать далеко не значит выполнить. Вот и в данном случае есть страны, которые и подписали, и ратифицировали, а есть те, кто только подписал. В последнем случае никаких особенных обязательств на страну не налагают. Ещё и подписать можно не все протоколы, оставив в случае чего свободу маневра. К слову, Россия подписала и ратифицировала все пять протоколов Конвенции.

Не исключено, что в ближайшее время к этому списку запрещённого обычного оружия добавится ещё и военный искусственный интеллект. Впрочем, странностей в логике юристов ООН немало. Конвенция предполагает, что оружие должно быть запрещено, если оно приносит чрезмерные страдания или просто убивает неизбирательно. Искусственный интеллект, по крайне мере, сейчас, как раз и призван снизить градус жестокости в войне. Показателен пример с убийством иранского физика-ядерщика Мохсен Фахризаде, которого «Моссад» ликвидировал из пулемета калибра 7,62-мм FN MAG, установленного на роботизированной платформе. Как утверждают источники, искусственного интеллекта в машине было немало – техника самостоятельно отслеживала жертву и наводила пулемет. В режиме реального времени это было бы невозможно из-за 1,6-секундной задержки между командой оператора и исполнительными механизмами. В итоге, получив «добро» из Израиля, робот фактически самостоятельно расстрелял Фахризаде. Искусственный интеллект (ИИ) в данном случае сработал более чем гуманно – в конце концов, израильтяне могли просто разнести всю округу ракетами, уничтожив вместе с целью немало лишних людей.

Инициаторы поправок к Конвенции ОНН предлагают оставить на вооружении только дистанционно-управляемое оружие и запретить технику, самостоятельно принимающую решение об уничтожении человека или другой цели. Однако ИИ может применяться не только для уничтожения, но и для разведки. Например, израильтяне в ходе последнего конфликта с палестинцами организовали поиск и наблюдение за пусковыми установками ракет с помощью роя квадрокоптеров. Дроны в автономном режиме прочёсывали большие территории, искали террористов и наводили на них ударные самолеты. ИИ сумел даже расшифровать подземные пусковые установки ракет «Хамас» во дворе обычных школ. В общей сложности рои дронов отправлялись в разведку в ходе одиннадцатидневной войны не менее 30 раз. Разведка Израиля с гордостью назвала этот кейс первой в мире войной с применением искусственного интеллекта. В данном случае речь вновь идёт о точечном воздействии, экономящем боеприпасы и, что гораздо важнее, жизни некомбатантов. Имеет ли смысл ограничивать подобные функции боевого ИИ?

При этом технический интеллект, заключённый в рой дронов, может быть быстро трансформирован из разведывательной техники в ударную. Американцы подсчитали, что 800 вооруженных квадрокоптеров, объединённых интеллектом, действуют гораздо эффективнее, чем 1000 самостоятельных. История с турецким дроном Kargu-2, который в марте прошлого года самостоятельно выследил и уничтожил повстанца в ходе войны в Ливии, также наводит на мысли о скорейшем запрещении настолько «умного» оружия. Когда человек убивает человека – это одно дело, а когда железяка сама принимает решение – совсем другое.

Справедливости ради, в этой истории не всё чисто – до конца непонятно, насколько дрон действительно был автономен. Не исключено, что это очередная турецкая реклама.

В ходе последнего конфликта Израиля и Газы дроны самостоятельно искали подземные ракетные шахты. Источник: timesofisrael.com

И, наконец, главный аргумент противников военного ИИ – технологии стремительно дешевеют и не менее стремительно расползаются по миру. Подобные асимметричные угрозы уже стали реальностью в Сирии, в Украине, в Йемене и потенциально во всех странах, где террористические ячейки имеют доступ к сервисам Aliexpress. Точнее, это необязательно должны быть террористы – в Мексике ударными дронами балуются наркокартели. Впрочем, там даже зачатками ИИ не пахнет.

Шестой протокол

В мировой политике принято тщательно готовить почву перед значимыми событиями. Вот и в преддверии женевской конференции в Сети появилось вирусное видео, призванное поднять градус общественного мнения относительно опасности армии дронов. Авторы из Института «Будущей жизни» (есть и такой) на достаточно высоком уровне сняли ролик, в котором смоделировали будущее. И оно безрадостное, надо сказать. Квадрокоптеры-террористы устаивают масштабные акции устрашения, атакуют мирных людей с небес, расстреливают из пулеметов. На одном из кадров роботы-псы, удивительно похожие на недавно представленный американский снайперский четвероногий дрон-снайпер «Vision 60», ведут огонь по административному зданию. Неподготовленный зритель вообще может принять происходящее на экране за чистую монету, а подготовленный как минимум проникнется идеей ролика. Просмотров у видео уже более 5 млн. Это в определённой степени может оказать влияние на центры принятия решений в Женеве.

Но если представить, что в Конвенции об обычных вооружениях всё-таки появятся шестой протокол и военный ИИ запретят? Прежде всего, его не подпишут страны, активно развивающие соответствующие технологии – США и Китай. Россия, кстати, также не в восторге от планируемых ограничений. Если главные игроки не подпишут, то остальным не будет резона присоединяться. Кто захочет добровольно себя ограничивать, передавая пальму первенства противнику, пусть и потенциальному? Разве что страны третьего мира демонстративно подпишут новый протокол и будут гордиться. Только вот у них как не было ИИ, так и не будет. Кроме этого, перспективы, открывающиеся перед обладателями ИИ, будут просто безграничны и это станет важным препятствием перед процедурой запрета. Возможность без хлопот и забот выборочно уничтожать противника без вмешательства человека гораздо ценнее уже запрещённых ослепляющих лазеров и зажигательного оружия. При этом эксперты говорят, что у подобных систем ИИ низкие риски неконтролируемой агрессии. У машинного мозга нет мотива срываться на уничтожение «не по плану». Никто же не протестует против беспилотных автомобилей? А они, напомним, убили уже гораздо больше людей, чем военный ИИ. Если существует опасность перехвата военных дронов террористами, то почему никто не паникует вокруг перехвата управления мирных четырехколесных дронов в будущем? Автопилот какой-нибудь «Теслы» может «сойти с ума» и влететь в толпу людей, и устроить ДТП с последующим пожаром из своих литийионных батарей. В общем, в мирной жизни потенциально от ИИ не меньше проблем, чем в военной стезе.

И, наконец, главное в запрещении автономных убийц – кто будет отслеживать и контролировать? Необходима отдельная организация с чрезвычайно широкими полномочиями. Технически отличить автономный дрон от дистанционно-управляемого непросто, и этим явно будут пользоваться нарушители потенциального шестого протокола. Попытка включить ИИ в ряд конвенционного обычного оружия сейчас выглядит мертворождённой идеей.

Автор: Евгений Фёдоров