GPT-4o стал лидером по программированию на Solidity

ИИ-модель GPT-4o от OpenAI набрала наивысший балл в рейтинге по программированию на языке Solidity, обойдя o1-preview, o1-mini и конкурентов. Об этом свидетельствуют данные исследования BrainDAO.

Рейтинг ИИ-моделей в выполнении заданий по программированию на Solidity. Данные: Hugging Face.

В пятерке лидеров:

• GPT-4o — 80,05 балла;
• o1-preview — 77,61;
• o1-mini — 75,08;
• Claude 3.5 — 74,88;
• Grok-2 — 74,64.

Для анализа и составления рейтинга SolidityBench применялись два бенчмарка NaïveJudge и HumanEval, разработанных для оценки и ранжирования мастерства ИИ-моделей в генерации кода для смарт-контрактов. 

Код от нейросетей оценивался на основе «строгих критериев» вроде реализации ключевых функций, обработки крайних случаев, работы с ошибками, правильного использования синтаксиса, общей структуры и поддерживаемость. Также анализировалась эффективность использования газа и управление хранением. 

Диапазон баллов варьируется от 0 до 100, обеспечивая комплексную оценку функциональности, безопасности и эффективности. 

Ранее Meta разработала ИИ-инструмент CodeCompose для генерации программного кода.

Напомним, в сентябре Google выпустила две обновленные версии моделей Gemini 1.5, которые продемонстрировали улучшения в работе с языками программирования.