Puppets.World объявляет о запуске приложения для анимации портретов с помощью искусственного интеллекта

Приложение Puppets.World позволяет анимировать «марионетку» — фотографию человека, картину с портретом, рисунок от руки, изображение мультипликационного персонажа, благодаря применению алгоритмов искусственного интеллекта. Для этого нужно записать видео, которое будет использоваться для «оживления», выбрать «марионетку» и нажать кнопку “Puppet”. Система генерирует ролик, на котором «цифровая марионетка» повторяет слова и мимику пользователя на исходном видео.

Puppets.World можно скачать в App Store и использовать совершенно бесплатно. Для создания роликов длиной больше 30 секунд, рекомендуется приобрести PRO-минуты (PRO minutes). Это ускорит процесс генерации нового видео, улучшит качество, позволит удалить маркировку Puppets.World и рекламу.

Технология, разработанная компанией, уникальна и принципиально отличается от процесса «морфинга», который используется в так называемых deepfake-приложениях ReFace и FaceApp, применяющих нейронные сети для модификации лица на исходном видео знаменитости так, чтобы оно приобрело черты пользователя. В итоговом ролике модифицированное лицо повторяет мимику знаменитости. Puppets.World применяет тот же класс нейронных сетей — Generative Adversarial Network (GAN), но подход к созданию видео отличается.

Существующие технологии, которые используются для создания и анимации персонажей в видеоиграх и фильмах, основаны на методе “body tracking”. Они подразумевают применение датчиков отслеживания движений и многочисленных сенсоров, закрепленных на теле актера. Технология Puppets.World делает возможным воспроизведение мимики без сложных компьютерных систем и дорогостоящего студийного оборудования.

«Puppets.World создает карту черт лица и отслеживает, как они меняются и двигаются на исходном видео, затем транслирует эти данные марионетке, заставляя её повторять слова и мимику. Мы не генерируем новое лицо, не используем морфинг. По сути, мы оживляем портрет». — Объясняет Александр Гунин, со-основатель и технический директор Puppets.World.

«Полученная анимированная марионетка — это Digital Human (цифровой человек) с начальной степенью автономности. Вскоре цифровых марионеток можно будет анимировать по записи голоса, а затем и просто с помощью текста. Цифровые клоны (Digital Clone) — следующая ступень эволюции цифровых людей. Они будут изучать привычки, поведение и предпочтения пользователя, и действовать от его/её лица. Digital Human с высокой степенью автономности через 15-20 лет начнут обретать когнитивные способности и динамически меняющуюся самостоятельную личность, основанную на собственном “жизненном” опыте”». — Говорит Светлана Рагимова, директор по маркетингу Puppets.World.

«Наше приложение создано для индустрии развлечений и медиа. Его могут использовать профессиональные блогеры и обычные пользователи. Но потенциал технологии намного больше. Она может применяться в различных сценариях и отраслях: в маркетинге и рекламе, образовательных сервисах, контактных центрах банков и ритейлеров. Наша система пригодится для локализации кинофильмов. Например, при переводе с английского на русский, движения губ актёра и выражения лица в идеале тоже должны меняться. Это можно делать автоматически с помощью наших алгоритмов», — говорит Леонид Шейба, основатель и генеральный директор Puppets.World.