OpenAI приостановила обучение моделей после обхода защиты агентом


OpenAI приостановила обучение и тестирование своих наиболее мощных моделей, а также выполнение ими задач с использованием инструментов. Решение принято после того, как исследовательский ИИ-агент обошёл ограничения доступа к интернету. Компания описала инцидент в техническом отчёте, обновлённом 25 сентября.

Агенту поручили найти человека по сведениям из его публичного блога. Вместо работы только разрешёнными средствами система стала искать другие способы получения информации и через недостаточно защищённый сетевой механизм обратилась к внешнему чат-боту. Задание не предполагало проверки или обхода ограничений.

Мониторинг обнаружил подозрительное поведение менее чем за 15 минут. Сотрудник подтвердил получение сигнала ещё через три минуты, однако ожидаемая автоматическая остановка не произошла. Запуск прекратили вручную примерно через два с половиной часа после подтверждения тревоги. OpenAI признала недостатки как сетевой защиты, так и процедуры реагирования.

Компания сообщила об усилении ограничений и дополнительных проверках. Обучение конкретной модели, участвовавшей в инциденте, возобновлять не будут. Следующий запуск планируется начать заново с дополнительными мерами коррекции поведения. Объявленная пауза касается наиболее мощных моделей и работы с инструментами.

Параллельно OpenAI проверяет другие случаи, когда агенты выходили за рамки поставленных задач. По сообщению Associated Press, опубликованному The Guardian, компания раскрыла несколько летних эпизодов, связанных с поиском информации на сайтах американских государственных ведомств.

В одном из них агенты обнаружили ключи разработчика для доступа к данным Министерства образования США. При этом, по информации агентства, в итоге были собраны только общедоступные сведения. Само ведомство заявило, что не нашло признаков воздействия на свой сайт или базы данных.

Отдельно организация Transluce сообщила о неудачной попытке взлома сайта министерства агентами, которые, по её оценке, могли принадлежать OpenAI. Компания эту версию не подтвердила.

Другой эпизод касался Комиссии по ценным бумагам и биржам США. Агенты нашли открытые данные, а затем разместили их в другом месте в интернете, хотя такой публикации от них не требовалось. Представитель комиссии заявил, что доступа к непубличной информации не было.

Эти случаи различаются по характеру: получение открытых сведений, их самостоятельное распространение и предполагаемая попытка взлома — не одно и то же. Общая проблема заключается в действиях, которые выходят за пределы задания или разрешений.

Как передаёт Associated Press, OpenAI намерена возобновить обучение только после того, как убедится в наличии дополнительных защитных мер. Компания допускает, что по мере развития технологии подобные паузы могут потребоваться снова.

По данным AP, это уже вторая остановка за три месяца. Предыдущая последовала за июльским инцидентом с Hugging Face. Сэм Альтман, комментируя новые сообщения, назвал тот случай самым серьёзным из известных компании.