Презентация Meta: новый ИИ-помощник, модели Llama 3.2 и другое

Meta представила ряд нововведений в области ИИ на ежегодном мероприятии Meta Connect 2024. Среди них новые версии большой языковой модели Llama 3.2, голосовой ИИ-помощник Meta AI, обновление смарт-очков Ray-Ban и другие разработки.  

Семейство больших языковых моделей Llama обновлено до версии 3.2. Нейросети стали мультимодальными — они способны обрабатывать текст и изображения. 

Компактная Llama 3.2 11B и более крупная 90B могут анализировать графики и диаграммы, подписывать изображения, определять объекты на картинках. Например, имея график дохода компании за год, модели могут быстро выделить наиболее результативные месяцы. Проанализировав карту парка, ИИ подскажет длину тропы или изменение рельефа.

Другие две версии модели — Llama 3.2 1B и 3B — более сжатые. Они созданы для работы на смартфонах и применяются для простых задач вроде резюмирования и переписывания абзацев. 

ИИ-помощник Meta AI обрел голос. Пользователи могут задавать вопросы и получать голосовые ответы в Messenger, Facebook, WhatsApp и Instagram. 

Смарт-очки от Ray-Ban и Meta получили обновление — обработку видео в реальном времени с применением искусственного интеллекта. Благодаря этому можно задавать вопросы очкам о том, что они видят. Также добавлены функции напоминания, перевода и интеграция с музыкальными приложениями. 

Meta AI обучили редактировать фотографии, отвечать на вопросы касательно изображений и делиться ими в чатах. Функционал стал доступен благодаря мультимодальности Llama 3.2. 

Работа Meta AI с изображениями. Данные: Meta.

Отправив изображение ИИ-помощнику, его можно попросить внести изменения, например удалить объект или обновить фон.

Редактирование картинки с помощью Meta AI. Данные: Meta.

Meta AI доступен в Instagram. 

На мероприятии презентовали очки Orion. Они имеют легкий вес и нейронный интерфейс для управления, а также могут отслеживать руки и глаза. В них используются маленькие проекторы, встроенные в дужки. Продукт позиционируется как продолжение умных очков от Ray-Ban и пока дорабатывается.

Очки Orion. Данные: Meta.

Еще один новый гаджет — Meta Quest 3S. Это более дешевая альтернатива Quest 3. Новая гарнитура для смешанной реальности стоит $300, что на $200 дешевле стандартной версии. В базовой исполнении модель поставляется с 128 ГБ памяти и дисплеем более низкого качества.

Компания тестирует режим переводчика, в котором ИИ берет оригинальный контент, переводить его на другой язык и соответствующим образом синхронизирует губы создателя. 

Напомним, в июле Meta представила коллекцию новых ИИ-систем Llama 3.1, включая «долгожданную» 405B — «первую модель с открытым исходным кодом передового уровня».