OpenAI приблизилась к запуску ИИ-агента

Известный точными инсайдами о будущих ИИ-продуктах программист Тибор Блахо обнаружил доказательства существования агента OpenAI под кодовым названием «Оператор».

Confirmed - the ChatGPT macOS desktop app has hidden options to define shortcuts for the desktop launcher to "Toggle Operator" and "Force Quit Operator" https://t.co/rSFobi4iPN pic.twitter.com/j19YSlexAS

По его информации, в десктоп-версии ChatGPT на macOS есть скрытые функции для включения и выключения «Оператора». Аналогичную информацию предоставил пользователь X под ником M1.

Блахо также обнаружил упоминание ИИ-агента на сайте OpenAI и его сравнение с решениями конкурентов. 

OpenAI website already has references to Operator/OpenAI CUA (Computer Use Agent) - "Operator System Card Table", "Operator Research Eval Table" and "Operator Refusal Rate Table"

Including comparison to Claude 3.5 Sonnet Computer use, Google Mariner, etc.

(preview of tables… pic.twitter.com/OOBgC3ddkU

Приведенные в таблице цифры говорят о том, что «Оператор» не совсем надежен в некоторых задачах. 

В бенчмарке OSWorld, который имитирует реальную компьютерную среду, ИИ-агент от OpenAI набирает 38,1%. Показатель выше решения от Anthropic, но не дотягивает до набранных человеком 72,4%. В то же время «Оператор» превосходит человеческие показатели в WebVoyager, который оценивает способности искусственного интеллекта в навигации по веб-сайтам. 

С задачей создать биткоин-кошелек нейросеть справилась в 10% случаев. Успех регистраций у облачного провайдера выше — в 60%. 

Просочившиеся в сеть графики указывают на хорошие показатели ИИ-агента в области безопасности — он сопротивляется попыткам совершать «незаконные действия» и искать «чувствительные личные данные».

Напомним, в ноябре стало известно о планах OpenAI запустить собственного ИИ-агента «Оператор».