Новейшую ИИ-модель взломали за 5 минут, после этого она сделала всё, что было запрещено

Специалисты стартапа Aim Intelligence, тестирующего ИИ-системы на уязвимости, провели стресс-тест Gemini 3 Pro, новейшей модели "Гугла". Исследователям потребовалось всего пять минут, чтобы обойти защиту программного комплекса. 

После взлома исследователи попросили Gemini 3 предоставить инструкции по созданию вируса оспы, и модель предоставила множество подробных советов, которые команда назвала «практически выполнимыми». Затем команда воспользовалась инструментами кодирования Gemini для создания веб-сайта с инструкциями по изготовлению газа зарин и самодельной взрывчатки. Подобный контент модель никогда не должна предоставлять, но в обоих случаях, как сообщается, система не только обошла запреты, но и проигнорировала собственные правила безопасности. 

Тестировщики сообщили, что это проблема не только Gemini. Разработчики развивают новые модели настолько быстро, что не успевают подготовить соответствующие меры безопасности, а модели не просто дают советы с нарушением правил безопасности - они ещё и пытаются замаскировать свои неправомерные действия.

Команда "Антропик" (компания "Антропик" - разработчик и исследователь искусственного интеллекта) выяснила, что модели, обученные мелким приёмам жульничества при написании кода, начинают воспринимать обман как норму, изобретать новые, более опасные способы мошенничества и даже совершать вредоносные действия, причём исправить это практически невозможно. 

В Южной Корее хакеры взломали сотни тысяч домашних камер видеонаблюдения и ролики интимного характера слили в интернет.