Alter Ego – проект, который во многом опередил свое время. Создать 10 поющих аватаров не проблема. Но вот снять 10 номеров с ними в прямом эфире, уложиться в бюджет и организовать работу максимально просто – это казалось невозможной задачей.
За создание аватаров и захват движений отвечала компания Silver Spoon Animation. Они создали для шоу 20 цифровых персонажей, которые не только пели, но взаимодействовали с аудиторией и судьями.

Команда из 50 художников работала индивидуально с каждым участником над созданием персонажа, который точно отражал бы его уникальный сценический образ. У каждого аватара было четыре варианта гардероба и индивидуальные визуальные эффекты.
Во время выступления участники шоу находились за кулисами в mocap-костюмах. Датчики считывали малейшие движения и передавали виртуальному двойнику. Цифровой аватар точно отражал то, что делал артист. Когда участник плакал, аватар тоже плакал. Или краснел, запускал пальцы в волосы.

Каждый номер снимался в прямом эфире с помощью 14 камер, 8 из которых были оснащены технологией трекинга stYpe.
Данные захвата движения, данные камер, а также данные аватара, включая цвет глаз, рост и спецэффекты отправлялись в центр Pixotope – программного обеспечения на базе Unreal Engine для создания виртуальной графики.

Во время съемок выступления можно было увидеть через мониторы, что позволяло зрителям в студии взаимодействовать с аватарами и не чувствовать себя оторванными от истории из-за созданных компьютером изображений.
Ключевую роль в этом шоу сыграл DMX. Он давал художнику по свету, режиссеру и продюсеру невероятный контроль над персонажами. С помощью Pixotope и Unreal Engine они могли в режиме реального времени делать то, что обычно занимает много времени в постпродакшн – менять цвет волос, глаз и управлять эффектами по DMX.

Никогда ранее DMX так не использовался в режиме реального времени. Именно этот протокол позволил работать в таком быстром графике. Благодаря тому, что управление виртуальным и реальным светом происходило с одной консоли, а цифровыми персонажами – с другой, удалось снимать 10 уникальных выступлений в день.

С помощью системы Unreal Engine Live Link происходила потоковая передача данных из более чем десяти экземпляров mocap в аватары. Система практически без задержек отображала анимацию, снятую с актеров, на аватарах в режиме реального времени. Live Link также использовался для лицевой анимации.

С помощью специального мобильного приложения Live Link Face, установленного на iPhone, происходил захват движений лица, и данные в режиме реального времени отражались в движке.

Использование Live Link избавило от необходимости писать специальный плагин для пакетов данных Vicon, предоставив команде свободный способ анимации своих моделей.

К концу проекта было создано более 80 уникальных номеров и 12 часов контента, и все это без необходимости постобработки. Ничего подобного в режиме реального времени и в таком масштабе ранее не делалось.
Шоу показало, что технология создания виртуальных аватаров готова к прайм-тайму. Так что мешает следующему сезону или другому шоу стать еще масштабнее?