Правительства продолжают позволять ИИ принимать ужасные решения

Правительства по всему миру спешат внедрять системы искусственного интеллекта, чтобы сэкономить время и деньги. Неизменно рекламные кампании сосредоточены на повышении эффективности, например, более интеллектуальном полицейском управлении, ускорении движения в очередях и более эффективном выявлении мошенничества. 

Но реальность гораздо сложнее. Автоматизированные системы несправедливо урезали преимущества, распознавание лиц развивается быстрее, чем его защитные функции, а инструменты прогнозирования продолжают использовать ошибки прошлого. Этот глобальный обзор описывает наиболее серьёзные провалы последних лет и то, на что следует обратить внимание в будущем.

Где всё уже пошло не так

Скандал с пособиями по уходу за детьми в Нидерландах – 2021

Автоматизированное профилирование рисков и агрессивные меры пресечения ошибочно выдали тысячи семей за мошенников. С реальных заёмщиков были неправомерно взысканы долги, система была скомпрометирована, а политические последствия привели к отставке правительства.

Провальный алгоритм социального обеспечения Дании – 2024–2025 гг.

Десятки моделей обнаружения мошенничества отслеживали получателей пособий. Правозащитная организация Amnesty International сообщила, что эти алгоритмы создают риск массовой слежки и дискриминации в отношении маргинализированных групп. Системы продолжали использоваться, и проверки продолжались до 2025 года.

Прогнозируемая реакция полиции во Франции – 2025 год

Гражданское общество задокументировало применение предиктивной полиции и в мае 2025 года призвало к её полному запрету. Данные свидетельствуют о том, что инструменты прогнозирования горячих точек и оценки рисков непрозрачны и, вероятно, воспроизводят предвзятость. Эти системы обучаются на исторических данных, что позволяет им возвращаться в те же районы, которые, возможно, уже подвергались чрезмерному контролю со стороны полиции. При этом крайне мало делается для информирования населения о том, как это работает, и нет никаких надёжных способов обжалования.

США расширяют биометрический контроль на границе – 2025

Сравнения лиц проводятся в сотнях аэропортов, морских портов и на сухопутных границах. Возможности отказа, по всей видимости, существуют, но для большинства они непонятны, а точность варьируется в зависимости от демографической группы, и точные данные пока не опубликованы. Сообщается, что очереди на досмотр сотрудниками, движутся медленнее, чем автоматизированные, что превращает удобство в косвенное давление, побуждающее использовать новую технологию.

Последствия австралийского Robodebt и новые сбои в работе автоматики – 2023–2025 гг.

Королевская комиссия признала автоматизированную схему погашения задолженности незаконной и вредоносной. В 2025 году надзорные органы выявили тысячи неправомерных отмен заявок на вакансии JobSeeker, связанных с ИТ-сбоями в системе Target Compliance Framework. Были опубликованы стратегии и принесены извинения, однако система поощрений по-прежнему ориентировалась на скорость, а не на внимательность.

Продолжающиеся сбои в биометрической системе Индии – 2025 год

Сбои и перебои в работе биометрических данных лишили многих людей возможности получать доступ к ресурсам и преимуществам. Власти тестируют распознавание лиц, чтобы исправить ошибки в работе отпечатков пальцев, и наоборот, но если один биометрический параметр не работает, а другой накладывается поверх него, ошибка может распространиться на все сервисы, использующие один и тот же идентификатор.

Общие темы, лежащие в основе неудач

В разных странах и вариантах использования одни и те же черты продолжают проявляться. Во-первых, это непрозрачность; поставщики и агентства заявляют о секретности, но людям остается только гадать, почему модель пометила их, оставив мало возможностей для апелляции. Во-вторых, масштаб внедрений сам по себе способствует серьезным ошибкам. 

Ошибка в коде, развернутом по всей стране, может нанести вред тысячам с рекордной скоростью, но была бы обнаружена в более медленных системах, управляемых человеком. «Предвзятость на входе, предвзятость на выходе» — третья общая тема для всех моделей, означающая, что обучение основано на вчерашних предрассудках в моделях работы полиции или социального обеспечения и должно принимать завтрашние решения. 

В-четвертых, политическая сложность «отменить» системы независимо от ошибок, которые они производят. Когда инструмент работает и подключен к целевым показателям производительности или ключевым государственным системам, откат становится практически невозможным.

Что сейчас все строят?

США

Ведомства внедряют автоматизированные системы учета и контроля рисков высокого уровня, одновременно расширяя возможности распознавания лиц в аэропортах, на сухопутных границах и в морских портах. Обратите внимание на переход национальных пилотных проектов на постоянный уровень, более широкий межведомственный обмен данными и крупные платформенные контракты. Риски включают демографическую предвзятость в программном обеспечении для сопоставления лиц и намеренно непрозрачную логику поставщиков, заключённую в частных многомиллиардных соглашениях.

Китай

В существующие сети камер и базы данных в режиме реального времени добавляются более глубокие аналитические возможности, обеспечивая более тесную связь с системами контроля перемещения и проживания.

Ожидается, что наряду с существующей системой идентификации по лицу будут реализованы функции мониторинга походки и голоса, что приблизит нас к постоянному отслеживанию населения с чрезвычайно высокой точностью.

Евросоюз

Недавний Закон об искусственном интеллекте (ИИ) подталкивает правительства к внесению своих инструментов ИИ в публичные реестры, публикации пояснений к каждому из них простым языком и заключению контрактов, подлежащих аудиту. Ожидается появление национальных веб-сайтов с перечнем инструментов, используемых в системах социального обеспечения, здравоохранения и полиции. 

Будут опубликованы новые документы, но улучшит ли это результаты? Существует вероятность, что ведомства опубликуют необходимую информацию, но продолжат использовать системы с той же предвзятостью и слабыми механизмами обжалования.

Япония

Проверки личности My Number теперь проводятся совместно со считыванием чипов и верификацией лиц, автоматизируя всё больше услуг, предоставляемых службами ресепшена в сфере здравоохранения и финансов. Следите за региональными внедрениями, связывающими данные между ведомствами, и за тем, продолжат ли несоответствия данных, преследовавшие страну, ограничивать доступ людей к государственным услугам.

Австралия

Системы, работающие в стиле «пострободебт», добавляют человеческий фактор в решения по долгам и выплатам, более чёткие обоснования в сообщениях и позволяют проводить внешний аудит. Обратите внимание на аналитику мошенничества с человеческим подтверждением и независимую отчётность о частоте ошибок, а также на то, продолжают ли IT-сбои отменять платежи или замедлять выплату компенсаций.

Индия

Штаты пилотируют программы распознавания лиц в случаях, когда отпечатки пальцев не работают, и изучают автоматизированную сортировку в сфере предоставления пособий и работы полиции. Ожидается более тесная связь между базами данных социального обеспечения, банковского обслуживания и путешествий, что позволит отслеживать случаи исключения из списка лиц, когда биометрические данные не срабатывают, и слабые механизмы обжалования для граждан, отмеченных как «помеченные».

Системы ИИ становятся всеобъемлющими

Границы и путешествия : в то время как сканирование лиц в туристических центрах распространяется экспоненциально, списки наблюдения становятся всё более обширными, а ложные совпадения заставляют реальных людей застрять. Намеренное сокращение времени ожидания в очереди на отказ незаметно подтолкнёт больше людей к согласию на автоматическую фиксацию.

Полиция : использование старых данных для обучения моделей полиции просто создает петлю обратной связи, которая возвращает их в ранее посещаемые районы, в то время как для выявления новых проблемных районов и ввода их в алгоритм потребуется больше времени.

Цифровое удостоверение личности : национальные программы удостоверения личности, внедряемые по всему миру, вскоре будут соответствовать банковским счетам, налоговым декларациям, системам здравоохранения и льготам. Одна ошибка может привести к блокировке всего общества, а дополнительные биометрические уровни только усугубляют проблему.

Как это должно работать

Для успешного и прозрачного внедрения автоматизированных государственных систем необходимо реализовать следующие принципы. Каждый правительственный инструмент ИИ должен быть чётко разъяснён сотрудникам, включая используемые данные, известные ограничения, уровни точности и ответственность в случае сбоя. Необходимо иметь реальные способы обжалования автоматизированных решений, учитывая, что это повлияет на финансы, свободу и правовой статус. Лица, на которых наложена санкция, должны получить письменное объяснение причин и реальную оценку в течение нескольких дней.

В чувствительных зонах внедрение следует проводить постепенно. В сфере социального обеспечения, охраны правопорядка и пограничного контроля пилотные проекты следует использовать для тестирования небольшой группы, оценки ущерба и расширять только после того, как независимая экспертиза подтвердит безопасность масштабирования системы. Необходимо отслеживать случаи ложных срабатываний, а данные о скорости устранения ошибок должны быть общедоступны.

Каждое развертывание должно быть назначено ответственному за его обслуживание человеку, с указанием контактных данных и простого процесса для тех, кто сообщает о проблемах и ищет реального ответа.

Наконец, каждое развертывание должно быть повторно оценено в заранее согласованный момент времени. Если преимущества неясны или риски возрастают, систему следует пересмотреть и обновить перед возобновлением её эксплуатации.

Последняя мысль

ИИ не просто помогает государству, но и меняет мышление всей системы. Хорошие системы повышают скорость и эффективность, одновременно снижая риски, но, как мы уже видели в последние пару лет, автоматизированное принятие решений не всегда является правильным решением. Необходимо восстановить человеческое суждение, системы должны быть понятными, а людям нужен быстрый и справедливый способ получать ответы.

Присоединяйтесь к беседе

Что внедряется в вашей стране? Каково было внедрение и как восприняли его общественность? С оптимизмом ли вы относитесь к предстоящей автоматизации государственных ведомств или это верный путь к контролируемой катастрофе? Поделитесь своим мнением ниже.