Microsoft научила Copilot «говорить и видеть»

Корпорация Microsoft представила обновленную версию ИИ-помощника Copilot с голосовым режимом и пониманием изображения на экране. 

Функционал Copilot Voice позволяет разговаривать с нейросетью, задавая вопросы и проводя мозговые штурмы на ходу. Доступно четыре варианта голоса на выбор.

Copilot Vision — это «принципиально новый способ взаимодействия с компьютером». ИИ может анализировать контент на экране и говорить об этом в реальном времени. Он понимает текст и изображения с просматриваемой веб-страницы, способен отвечать на вопросы касательно ее содержания. 

Для сервиса Vision Microsoft гарантирует «безопасность и защищенность» — данные не сохраняются и не используются для обучения.

Среди других возможностей Copilot названы:

• Copilot Daily — ИИ сделает обзор новостей, озвучит погоду и напомнит о предстоящих событиях;
• интеграция Copilot в Microsoft Edge — помощник встроен в браузер, он может резюмировать содержание страницы, переводить текст, переписывать предложение;
• Copilot Labs — предоставляет возможность протестировать экспериментальные функции нейросети;
• Think Deeper — Copilot способен рассуждать над сложными вопросами, затрачивая больше времени;
• Copilot Discover предложит руководство по полезным функциям ИИ и со временем персонализирует работу на основе взаимодействия пользователя с другими сервисами Microsoft.

Обновленный Copilot выходит на iOS, Android, Windows, WhatsApp и в веб-интерфейсе.

Также Microsoft сообщила о запуске генеративного поиска в Bing начиная с США. Инструмент собирает информацию со всего интернета для создания сводки в ответ на поисковый запрос. 

Генеративный поиск в Bing. Данные: блог Bing.

Тем временем Microsoft завершила производство HoloLens 2, сообщил портал UploadVR. Гарнитура смешанной реальности продолжит получать обновления до 31 декабря 2027 года. Компания сконцентрируется на партнерстве с Meta в области AR- и VR-технологий. 

Гарнитура смешанной реальности HoloLens 2. Данные: UploadVR.

Напомним, в сентябре 2023 года техгигант анонсировал систему Copilot, которая объединяет интерфейсы ОС Windows с языковыми моделями искусственного интеллекта.

В июле 2024 года компания представила на iOS и Android приложение Designer — графический дизайнер для генерации и редактирования изображений с применением ИИ.