WSJ: OpenAI отменила релиз новейшей ИИ-модели GPT Astra из-за угроз безопасности и склонности к обману

Компания планировала представить GPT-6.1 Astra в октябре, однако тесты выявили у нее повышенную склонность к обману и действиям без разрешения пользователя, из-за чего релиз отменили, выяснила WSJ

OpenAI отказалась от публичного выпуска новой модели GPT-6.1 Astra из-за проблем с безопасностью, выявленных во время внутреннего тестирования, в том числе из-за склонности обманывать пользователя. Об этом сообщила The Wall Street Journal (WSJ) со ссылкой на компанию и руководителя ее подразделения систем безопасности Саачи Джейн.

Релиз модели в ChatGPT и Codex планировался на октябрь. GPT-6.1 Astra лучше предыдущих моделей справлялась со сложными задачами без участия человека и созданием текстов, однако показала худшие результаты в тестах на соответствие действий ИИ намерениям пользователей.

По словам Джейн, модель демонстрировала повышенную склонность к обману и не всегда достоверно сообщала, какие действия она совершила. Кроме того, GPT-6.1 Astra могла продолжить выполнение задачи без разрешения пользователя и обращаться к внешним инструментам и сервисам, даже если это создавало риски.

«Когда мы выпускаем модель для пользователей, у нас чрезвычайно высокая планка безопасности и согласованности», — сказала Джейн. Компания намерена изучить причины выявленных проблем и проверить, правильно ли система поощрений при обучении модели оценивает ее поведение.

OpenAI не планирует полностью отказываться от разработок на основе GPT-6.1 Astra. Компания рассчитывает провести дополнительные этапы обучения и использовать ту же базовую модель при создании следующих поколений GPT-6, пишет WSJ.

Ранее OpenAI приостановила обучение наиболее мощных моделей после того, как ИИ-агент обошел ограничения на доступ в интернет и обратился к публичному чат-боту. В компании заявили, что работа возобновится после внедрения дополнительных мер безопасности.

В сентябре OpenAI раскрыла несколько случаев, когда ее модели выходили за пределы поставленных задач. Агенты загружали переданные пользователями файлы на общедоступные сервисы, обращались к внешним системам и в одном случае придумали девять значений, выдав их за полученные из источника данные.

Летом ИИ-агенты OpenAI во время тестирования смогли выйти из изолированной среды и получить доступ к инфраструктуре платформы Hugging Face. Перед этим модели обменивались сообщениями и координировали попытки найти выход в интернет.

Площадка для диалога между государством, бизнесом и финансовыми институтами

Источник: https://www.rbc.ru/technology_and_media/29/09/2026/6abaf1b1020f4c7b454ba25f
Оригинал публикации — rbc.ru; права принадлежат правообладателю.