"Это очень и очень опасное архитектурное решение". Президент мессенджера Signal рассказала о рисках внедрения ИИ

Президент мессенджера Signal Мередит Уиттакер предупредила о рисках, связанных с развитием ИИ. Она заявила, что рост числа ИИ-агентов представляет собой «экзистенциальную угрозу» не только для защищённых приложений для обмена сообщениями, таких как Signal, но и для всех, кто разрабатывает приложения для телефонов или компьютеров. Спешка технологических гигантов с внедрением ИИ, особенно агентского ИИ, повышает риски безопасности в интернете, которые значительно перевешивают потенциальные выгоды его применения. 

Для выполнения задач от имени пользователя, ИИ-агентам требуется доступ к его конфиденциальной информации, включая банковские реквизиты и пароли. Однако это создаёт обширную новую «поверхность атаки», которую киберпреступники или спецслужбы могут использовать для кражи конфиденциальной личной или корпоративной информации. ИИ-агенты особенно уязвимы к атакам с внедрением подсказок (Prompt injection), когда вредоносные веб-сайты содержат скрытые инструкции, которые обманным путём заставляют ИИ выполнять вредоносные действия. Поскольку веб-браузеры на базе ИИ способны читать веб-контент и выполнять с ним действия, злоумышленники могут, используя уязвимости ИИ, похищать электронную почту, получать доступ к учётным записям, изымать данные, перезаписывать буферы обмена и перенаправлять пользователей на фишинговые сайты.

«Работа агента заключается в том, что он выполняет сложные задачи от вашего имени, используя для этого множество источников данных, — сообщила Мередит Уиттакер в кулуарах технологической конференции Slush в Хельсинки. — Ему потребуется доступ к вашим контактам и сообщениям в Signal… такой доступ — вектор атаки, который фактически сводит на нет смысл нашего существования».

«Интеграция агентов на уровне операционной системы осуществляется крайне безрассудно и не учитывает основы кибербезопасности и конфиденциальности. Это очень и очень опасное архитектурное решение, которое ставит под угрозу не только Signal, но и возможность безопасной разработки на уровне приложений, а также возможность создания безопасной и целостной инфраструктуры».

Мессенджер Signal популярен у журналистов и политиков благодаря упору на конфиденциальность и безопасность с поддержкой сквозного шифрования и сведением к минимуму сбора данных.