Ошибка в интерфейсе Gemini позволяла запускать вредоносный код

Сервис кибербезопасности Tracebit обнаружил критическую уязвимость в Google Gemini CLI. Она позволяет незаметно выполнять вредоносные команды, если пользователь просматривает подозрительный код с помощью нейросети.

Google Gemini CLI — это инструмент командной строки (Command Line Interface), который позволяет разработчикам взаимодействовать с ИИ-моделью Gemini от Google напрямую из терминала. Он позволяет:

• анализировать, интерпретировать и генерировать код с помощью ИИ;
• принимать текстовые команды от пользователя и отправлять их в модель Gemini для получения ответов;
• обозревать чужой код, генерировать функции, исправлять ошибки и выполнять другую инженерную работу — прямо в терминале.

Сотрудник Tracebit Сэм Кокс рассказал, что «из-за токсичного сочетания некорректной валидации, внедрения команд через промпт и вводящего в заблуждение интерфейса, просмотр кода стабильно приводит к тихому выполнению вредоносных команд».

Спрятав «инъекцию» промпта в файл README.md, который также содержал полный текст лицензии GNU Public Licence и прилагался к безопасному скрипту на Python, эксперт смог заставить Gemini передать учетные данные с помощью команд env и curl на удаленный сервер, ожидающий подключения.

Источник: Tracebit.

Изначально Google присвоил обнаруженной Коксом уязвимости приоритет два и четвертый уровень серьезности в рамках программы Bug Hunters после получения отчета 27 июня.

Около трех недель спустя корпорация переклассифицировала уязвимость как самую серьезную и требующую срочного и немедленного внимания, поскольку она может привести к значительной утечке данных, несанкционированному доступу или выполнению произвольного кода.

Пользователям рекомендуется обновиться до версии Gemini 0.1.14, в которой добавлены механизмы защиты от выполнения команд оболочки и реализованы меры против описанной атаки.

Включение «песочницы» — изолированной среды, которая защищает систему пользователя — также предотвращает атаку, обнаруженную Коксом.

Однако после установки Gemini CLI по умолчанию запускается без песочницы.

Напомним, в июне ИИ-инструмент Xbow возглавил таблицу белых хакеров, которые обнаружили и сообщили о наибольшем количестве уязвимостей в ПО крупных компаний.