Разработчик создал инструмент для оценки энергопотребления ИИ

Разработчик Hugging Face Жюльен Делаванде создал инструмент AI Energy Score, который помогает определить количество затрачиваемой электроэнергии на запрос к искусственному интеллекту. 

Сервис отображает потребление энергии графическими процессорами в киловаттах или джоулях для каждого отправленного сообщения. Для удобства он добавляет эквиваленты в других исчислениях вроде процента заряда батареи телефона, секунд работы микроволновой печи или времени функционирования светодиодных ламп. 

🎥 Short demo in the image/video below pic.twitter.com/Lzrioz6Alx

«Даже небольшая экономия энергии может распространяться на миллионы запросов — выбор модели или длина вывода могут привести к значительному воздействию на окружающую среду», — говорится на странице инструмента. 

Сервис работает с Qwen 2.5 7B, Llama, Gemma и Mistral. 

Инструмент оценивает энергопотребление сообщений в реальном времени. Если попросить Llama 3.3 70B написать обычное письмо, на это уйдет примерно 0,1841 Вт·ч — эквивалент работы микроволновки в течение 0,12 секунд или тостера в течение 0,02 секунд. 

Делаванде подчеркивает, что результаты не досконально точные, однако они напоминают, что все, в том числе чат-боты, имеет свою цену. 

«Благодаря таким проектам, как AI Energy Score, и более широким исследованиям энергетического следа искусственного интеллекта мы добиваемся прозрачности в сообществе разработчиков с открытым исходным кодом. В один прекрасный день энергопотребление станет таким же ясным, как этикетки на продуктах питания», — отметил разработчик.

Напомним, в апреле CEO OpenAI Сэм Альтман сообщил, что компания потратила десятки миллионов долларов на ответы пользователей, которые писали «пожалуйста» и «спасибо».

В августе 2024 года исследование Bitcoin Policy Institute показало, что объем потребляемой энергии ИИ, вероятно, уже превысил затраты на майнинг биткоина.

В декабре Google и Microsoft запланировали «озеленение» процесса получения энергии и системы охлаждения дата-центров.