Цифровые аватары в музыкальном шоу Alter Ego


Екатерина Филонова
www.tds-pro.com

Константин Герасимов, эксперт в области виртуального
производства, руководитель студии TDS Virtual Production (https://vds-pro.com)
, размышляет о новом формате шоу с созданием виртуальных аватаров в прямом эфире.


Alter Ego – проект, который во многом опередил свое время. Создать 10 поющих аватаров не проблема. Но вот снять 10 номеров с ними в прямом эфире, уложиться в бюджет и организовать работу максимально просто – это казалось невозможной задачей.
За создание аватаров и захват движений отвечала компания Silver Spoon Animation. Они создали для шоу 20 цифровых персонажей, которые не только пели, но взаимодействовали с аудиторией и судьями.

Команда из 50 художников работала индивидуально с каждым участником над созданием персонажа, который точно отражал бы его уникальный сценический образ. У каждого аватара было четыре варианта гардероба и индивидуальные визуальные эффекты.
Во время выступления участники шоу находились за кулисами в mocap-костюмах. Датчики считывали малейшие движения и передавали виртуальному двойнику. Цифровой аватар точно отражал то, что делал артист. Когда участник плакал, аватар тоже плакал. Или краснел, запускал пальцы в волосы.



Каждый номер снимался в прямом эфире с помощью 14 камер, 8 из которых были оснащены технологией трекинга stYpe.
Данные захвата движения, данные камер, а также данные аватара, включая цвет глаз, рост и спецэффекты отправлялись в центр Pixotope – программного обеспечения на базе Unreal Engine для создания виртуальной графики.

Во время съемок выступления можно было увидеть через мониторы, что позволяло зрителям в студии взаимодействовать с аватарами и не чувствовать себя оторванными от истории из-за созданных компьютером изображений.
Ключевую роль в этом шоу сыграл DMX. Он давал художнику по свету, режиссеру и продюсеру невероятный контроль над персонажами. С помощью Pixotope и Unreal Engine они могли в режиме реального времени делать то, что обычно занимает много времени в постпродакшн – менять цвет волос, глаз и управлять эффектами по DMX.

Никогда ранее DMX так не использовался в режиме реального времени. Именно этот протокол позволил работать в таком быстром графике. Благодаря тому, что управление виртуальным и реальным светом происходило с одной консоли, а цифровыми персонажами – с другой, удалось снимать 10 уникальных выступлений в день.


С помощью системы Unreal Engine Live Link происходила потоковая передача данных из более чем десяти экземпляров mocap в аватары. Система практически без задержек отображала анимацию, снятую с актеров, на аватарах в режиме реального времени. Live Link также использовался для лицевой анимации.

С помощью специального мобильного приложения Live Link Face, установленного на iPhone, происходил захват движений лица, и данные в режиме реального времени отражались в движке.


Использование Live Link избавило от необходимости писать специальный плагин для пакетов данных Vicon, предоставив команде свободный способ анимации своих моделей.

К концу проекта было создано более 80 уникальных номеров и 12 часов контента, и все это без необходимости постобработки. Ничего подобного в режиме реального времени и в таком масштабе ранее не делалось.
Шоу показало, что технология создания виртуальных аватаров готова к прайм-тайму. Так что мешает следующему сезону или другому шоу стать еще масштабнее?

Лаборатория световых решений STROB

Лаборатория световых решений STROB

Об очень молодой и в то же время опытной компании «Лаборатория световых решений STROB», о ее возможностях, технологиях и проектах нам рассказывает художник по свету  Дмитрий Шилов.

Радиосистемы Sennheiser в московских мюзиклах

Радиосистемы Sennheiser в московских мюзиклах

Продолжаем рассказ о техническом оснащении мюзикла «Шахматы», премьера которого состоялась в МДМ в октябре. Об особенностях работы с радиосистемами в мюзикле рассказал его звукорежиссер Михаил Соколик. В прошлом номере «Шоумастера» читайте большое интервью с британским саунд-дизайнером Ричардом Брукером, который работал над 60 мюзиклами по всему миру и был приглашен для подготовки выпуска «Шахмат» в России.

AKG LYRA. Лира вдохновения для видеоблогеров

AKG LYRA. Лира вдохновения для видеоблогеров

Компания AKG, ведущий производитель профессиональных микрофонов, также решила обратиться к теме интернет-вещания и выпустила модель с названием LYRA, в первую очередь ориентированную на видеоблогеров.

«Торнадо» в день «Нептуна»

«Торнадо» в день «Нептуна»

2019 год стал для компании Guangzhou Yajiang Photoelectric Equipment CO.,Ltd очень богатым на новинки световых приборов. В их числе всепогодные светодиодные поворотные головы высокой мощности: серии Neptune, выпускаемые под брендом Silver Star, и Tornado – под брендом Arctik.

Открытая репетиция проекта "Виртуальная сцена"

Открытая репетиция проекта "Виртуальная сцена"

22 апреля 2022 г. прошла открытая репетиция проекта «Виртуальная сцена»в которой приняли участие режиссеры, художники-постановщики, художники по свету, ведущие режиссёры, помощники режиссера, руководители и сотрудники ХПЧ, продюсеры и дирекции театров.
Проект «Виртуальная сцена» — это инструмент, который призван сделать работу над выпуском спектакля удобным и продуктивным, существенно сократить расходы и сберечь ваш самый главный ресурс — время!
Возможности проекта «Виртуальная сцена» уже с успехом используют ведущие театры России и мира.
Репетицию для вас провели театральный художник, художник по свету, режиссер мультимедиа, художественный руководитель Студии «Шоу Консалтинг» Глеб Фильштинский и ведущий специалист Студии, руководитель направления «Виртуальная сцена» Алексей Полубояринов.

Статью о «Виртуальной сцене» вы найдете здесь

Panasonic в Еврейском музее

Panasonic в Еврейском музее

Еврейский музей и центр толерантности открылся в 2012 году в здании Бахметьевского гаража, построенного по проекту архитекторов Константина Мельникова и Владимира Шухова. Когда этот памятник конструктивизма передали музею, он представлял собой практически развалины. После реставрации и оснащения его новейшим оборудованием Еврейский музей по праву считается самым высокотехнологичным музеем России.
О его оснащении нам рассказал его IT-директор Игорь Авидзба.

Лаборатория световых решений STROB

Лаборатория световых решений STROB

Об очень молодой и в то же время опытной компании «Лаборатория световых решений STROB», о ее возможностях, технологиях и проектах нам рассказывает художник по свету  Дмитрий Шилов.

Радиосистемы Sennheiser в московских мюзиклах

Радиосистемы Sennheiser в московских мюзиклах

Продолжаем рассказ о техническом оснащении мюзикла «Шахматы», премьера которого состоялась в МДМ в октябре. Об особенностях работы с радиосистемами в мюзикле рассказал его звукорежиссер Михаил Соколик. В прошлом номере «Шоумастера» читайте большое интервью с британским саунд-дизайнером Ричардом Брукером, который работал над 60 мюзиклами по всему миру и был приглашен для подготовки выпуска «Шахмат» в России.

Мониторинг. Урок 18. Активные контрольные комнаты

Мониторинг. Урок 18. Активные контрольные комнаты

Не следует путать новые возможности дизайна активных помещений с «поддерживаемой реверберацией», которая с 1950-х годов использовалась в Королевском фестивальном зале (Royal Festival Hall), а позже в студиях «Лаймхаус» (Limehouse Studios). Это были системы, использующие настраиваемые резонаторы и многоканальные усилители для распределения естественных резонансов до нужной части помещения.

Синхронизация. Часть VIII RTP-MIDI (Apple MIDI)

Синхронизация. Часть VIII RTP-MIDI (Apple MIDI)

RTP (Real-time Transport Protocol) – протокол высокого уровня, который базируется на UDP, но при этом имеет свои особенности, которые были специально разработаны для стриминга аудио и видео.

Прокат как бизнес. Попробуем разобраться

Прокат как бизнес. Попробуем разобраться

Андрей Шилов: "Выступая на 12 зимней конференции прокатных компаний в Самаре, в своем докладе я поделился с аудиторией проблемой, которая меня сильно беспокоит последние 3-4 года. Мои эмпирические исследования рынка проката привели к неутешительным выводам о катастрофическом падении производительности труда в этой отрасли. И в своем докладе я обратил внимание владельцев компаний на эту проблему как на самую важную угрозу их бизнесу. Мои тезисы вызвали большое количество вопросов и длительную дискуссию на форумах в соцсетях."

Лаборатория световых решений STROB

Лаборатория световых решений STROB

Об очень молодой и в то же время опытной компании «Лаборатория световых решений STROB», о ее возможностях, технологиях и проектах нам рассказывает художник по свету  Дмитрий Шилов.

Радиосистемы Sennheiser в московских мюзиклах

Радиосистемы Sennheiser в московских мюзиклах

Продолжаем рассказ о техническом оснащении мюзикла «Шахматы», премьера которого состоялась в МДМ в октябре. Об особенностях работы с радиосистемами в мюзикле рассказал его звукорежиссер Михаил Соколик. В прошлом номере «Шоумастера» читайте большое интервью с британским саунд-дизайнером Ричардом Брукером, который работал над 60 мюзиклами по всему миру и был приглашен для подготовки выпуска «Шахмат» в России.

Прокат как бизнес. Попробуем разобраться

Прокат как бизнес. Попробуем разобраться

Андрей Шилов: "Выступая на 12 зимней конференции прокатных компаний в Самаре, в своем докладе я поделился с аудиторией проблемой, которая меня сильно беспокоит последние 3-4 года. Мои эмпирические исследования рынка проката привели к неутешительным выводам о катастрофическом падении производительности труда в этой отрасли. И в своем докладе я обратил внимание владельцев компаний на эту проблему как на самую важную угрозу их бизнесу. Мои тезисы вызвали большое количество вопросов и длительную дискуссию на форумах в соцсетях."

Форум

Словарь

Пиксел

(pixel) - от Picture Element - элемент изображения. Основная единица, элемент "мозаики", из множества которых формируется изображение. Матрица любого проектора характеризуется количеством пикселов по горизонтали и вертикали, например, пи...

Подробнее