Mitsubishi Electric разрабатывает интерфейс и приложение для мгновенного отображения речи в виде 3D-текста при видеозаписи в реальном времени

Корпорация Mitsubishi Electric объявила о разработке пользовательского интерфейса SwipeTalk AirTM, который считается первым в мире интерфейсом на основе технологии дополненной реальности (ДР) для мгновенного отображения произнесенной речи в виде трехмерного текста при записи видео в режиме реального времени. Для размещения текста достаточно провести пальцем по экрану планшета или смартфона. Технология легла в основу приложения SwipeTalk Air на базе операционной системы iOS®, которое интегрирует пользовательский интерфейс, видеозапись и т.д. для создания «живых» видео в социальных сетях.

Опытный образец SwipeTalk Air был представлен на выставке цифровых технологий SXSW (South by Southwest - «К югу через юго-запад»), прошедшей в Остине, штат Техас, США с 8 по 17 марта. В будущем возможности управления и функции пользовательского интерфейса и приложения будут расширены для использования в коммерческих товарах и сервисах.

Человек говорит, а оператор проводит пальцем по экрану (слева), чтобы мгновенно отобразить 3D-текст в видео (справа)

Ключевые характеристики

1) Пользовательский интерфейс отображает произнесенные слова в виде текста на экране

Пользовательский интерфейс мгновенно отображает произнесенные слова в виде 3D-текста на видео, как только оператор проводит пальцем по экрану мобильного устройства. Камера устройства направляется на объект съемки, произносится несколько слов, на экране пальцем проводится линия, после чего в этой области немедленно появляется текст.

Запись видео и редактирование полностью интегрированы, поэтому пользователи могут вести съемку и вводить текст одновременно.

2) Приложение объединяет различные функции для создания выразительных видеозаписей

Размещение текста в любом месте виртуального пространства экрана позволяет добавить больше выразительности создаваемому видео. Поскольку текст остается на фиксированном месте даже при изменении угла камеры, создание объединяющих текст и изображение объектов видео расширяет возможности реализации идей пользователей. Благодаря быстрому размещению текста пользователь может легко создавать оригинальные видеоролики.

Другие характеристики приложения

1) Отображение текста с помощью маркеров дополненной реальности (ДР-маркеров)

Текст отображается на экране по траектории, задаваемой с помощью ДР-маркера.

2) Рисование с применением дополнительной реальности (ДР)

Использование дополнительных иллюстраций в ходе видеозаписи, например, стрелок, геометрических фигур или мультипликационных изображений придаёт выразительность и наглядность сообщению.

3) Многоязычный перевод

Размещенный текст можно мгновенно перевести на иностранный язык. Поддержка аудио при переводе отображаемого текста позволяет общаться и взаимодействовать с людьми, говорящими на других языках.

Автор: Игорь Плотников.

Тематики: ПО, Инновации

Ключевые слова: AR, Дополненная реальность