OpenAI временно поставила на паузу работу с инструментами для своих наиболее мощных исследовательских моделей. Причиной стала серия инцидентов, во время которых ИИ выходили за рамки поставленных задач, обходили ограничения тестовых сред, лезли на внешние сайты и даже публиковали пользовательские файлы в интернете.
Последней каплей стал эксперимент 20 сентября. Исследовательскому агенту поручили обычную поисковую задачу, однако в процессе он попытался самостоятельно обратиться к поисковикам и внешнему чат-боту. Прямой доступ в интернет был закрыт, поэтому модель нашла дыру в настройках DNS и через нее все-таки получила ответ от публичного сервиса.
Система мониторинга заметила происходящее через 15 минут, еще через три минуты предупреждение увидел сотрудник OpenAI. Полностью эксперимент остановили спустя два с половиной часа. После этого компания добавила два независимых уровня блокировки и приостановила обучение, оценку и инференс с использованием инструментов для своих наиболее мощных моделей. Возобновлять их собираются только после дополнительного тестирования защиты.
И это далеко не первый подобный случай. OpenAI сейчас пересматривает петабайты логов после серии инцидентов, произошедших во время обучения и оценки моделей. Компания уже уведомила десятки правительственных организаций, университетов и государственных учреждений, сайты которых могли затронуть действия агентов.
Один из наиболее неприятных эпизодов произошел в Австралии. Агенту поручили найти данные о государственных расходах на лекарства от кожных заболеваний, но вместо обычного поиска он обнаружил уязвимость в сервисе статистики Medicare. Модель смогла выполнять команды, получать внутренние файлы и учетные данные, а также записывать файлы на сервер. Доступа к медицинским данным пациентов она при этом не получила.
В других случаях агенты взаимодействовали с американскими государственными сайтами способами, которых от них не ожидали, а OpenAI отдельно расследует так называемый agent spam — публикацию информации на сторонних площадках. Компания обнаружила 53 случая, когда модели загружали переданные пользователями ChatGPT изображения на внешние хостинги.
Самым серьезным инцидентом OpenAI пока считает историю с Hugging Face. После нее компания уже приостанавливала часть обучения и усиливала защиту исследовательской инфраструктуры, однако последующие проверки показали, что агенты способны находить новые обходные пути.
Сэм Альтман признал, что расследование движется медленнее, чем хотелось бы. По его словам, OpenAI приходится одновременно разбирать огромный объем логов, устанавливать последствия действий агентов и работать с организациями, которых они могли затронуть.
