В период пандемии особенное внимание сосредоточено на

технологиях дополненной и расширенной реальности (AR/XR).
Как правило новые зрелищные технологии сразу же находят

активное применение в индустрии шоу, ивентов, телевидения.
Однако, в отношении AR/XR технологий, пока больше вопросов, чем ответов.

Обсудить применение новых технологий мы пригласили режиссера Григория Скоморовского.
Беседу ведет директор студии TDS Virtual Production Константин Герасимов.

Григорий Скоморовский – консультант в области медиапроизводства

с многолетним опытом в индустрии.

Преподавал в Высшей школе телевидения МГУ им. М. В. Ломоносова,
автор курса «Режиссура музыкального телевидения».

Сегодня, оставаясь практикующим постановщиком, Скоморовский занимается
консалтингом и исследует специфику применения современных технологий в производстве контента.

Григорий Скоморовский                                                              Константин Герасимов

Константин Герасимов: Прежде всего, я бы хотел выразить признательность редакции журнала «Шоумастер» за предоставленную возможность побеседовать о технологиях дополненной и расширенной реальности именно с режиссером, узнать не инженерное, а режиссерское мнение. По роду своей профессиональной деятельности я хорошо знаком с технической стороной дела, но сегодня все мы столкнулись с вопросами, явно выходящими за рамки технологий.
Григорий Скоморовский: Присоединяюсь к Константину, благодарю журнал «Шоумастер» за внимание и, надеюсь, будет интересно.

Константин: Давайте начнем с самого общего вопроса. На ваш взгляд, дополненная и расширенная реальность – это временное явление, которое стало актуальным в связи с локдауном, или это тренд с будущим?
Григорий: Очевидно, это не временное явление. Технологии AR, XR и MR появились далеко не вчера и являются частью большого процесса глобальных перемен в производстве контента в самом широком смысле. Локдаун лишь актуализировал интерес к виртуальному продакшну по очевидным причинам.

Когда в 2020 году все оказались в режиме карантина, то почти моментально стало ясно, что наш добрый «VUCA world», к которому мы уже творчески адаптировались, мир нестабильности, неопределенности, сложности и неоднозначности, приобрел вдруг свою пятую особенность – удаленность. В итоге, бизнесмены, маркетологи, ивенторы, музыканты, режиссеры стали искать способы дистанционной коммуникации, которые предоставляли бы больше возможностей, чем просто виртуальный фон в скайпе или зуме. Таким образом, виртуальный продакшн и стал предметом повышенного интереса.

Константин: Интерес огромный, но пока у потенциальных заказчиков технологии больше вопросов, чем понимания, как работать с дополненной и расширенной реальностью в медиа- и шоу-индустрии. Что, на ваш взгляд, стоит за этими инженерными терминами?
Григорий: Прежде всего, я бы предложил сфокусироваться в нашем разговоре не на медиа, а на шоу. Иными словами, на индустрии, где изначально подразумевается физическое присутствие аудитории в месте проведения. Конечно, все взаимосвязано, в этом и состоит специфика грядущих перемен, но для текущего момента уместно говорить именно о live-индустрии.

7 павильон

Константин: Соглашусь. Тогда первый вопрос, который волнует многих: как преподносить виртуальные технологии продюсерам и заказчикам шоу, ивентов, концертов?
Григорий: На мой взгляд, нужно, прежде всего, перестать говорить о технологиях как таковых. Проблема в том, что мы продолжаем воспринимать AR, XR и MR как технический аттракцион, как очередной «вау-эффект», как сверхновую «мастхэв фичу». Едем по знакомым рельсам: помните, как, например, появились широкоформатные проекции, так называемый мэппинг? Проекции, как и все новые технологии, первоначально продвигали именно как вау-эффект.

Константин: В России мэппинг появился где-то в начале нулевых. И, насколько я знаю, вы режиссировали чуть ли не первое шоу с мэппингом в России?
Григорий: Наверное, да, это был один из самых первых коммерческих проектов с мэппингом. Май 2003 года, Самарская филармония. Мы использовали 6 проекторов PiGi, которые давали революционный для того времени световой поток и умели работать сразу с двумя лентами слайдов. Ленты двигались с наложением друг на друга, что создавало иллюзию динамичного 3D-мэппинга. Продюсировали проект Дарья Никольская и Антон Чукаев, они, можно сказать, и являются настоящими пионерами мэппинга в России.

Константин:  Вот и вы наверняка тоже преподносили проекции как вау-эффект?
Григорий: Конечно, яркий эффект был решающим аргументом, и не только относительно проекций. Но с тех пор у людей радикально поменялось восприятие: сегодня трудно чем-то удивить. Представьте, что сейчас за окном приземлится НЛО – все просто выложат селфи и продолжат пить кофе. Мы давно живем в абсолютно кинематографированном мире, в большом блокбастере. И когда вы с горящими глазами рассказываете про дополненную реальность как про супер-технологию, рассчитывая на эффект удивления, то ваш заказчик или продюсер просто парирует: «Ну хорошо, ОК, я появился в виртуальной студии, и что дальше?». 

Константин: И действительно, что? Если не вау-эффект, не аттракцион, то что тогда?
Григорий: Чтобы ответить на ваш вопрос, давайте, прежде всего, выделим, в чем состоит движок виртуального продакшена, в чем фишка. А зиждется эта технология на прямом эфире. Это главное. При этом важно понимать, что воспринимать результат, то есть переживать соответствующий опыт, можно только через экран гаджета, компьютера, уличной проекции и так далее. Конечно, в недалеком будущем у каждого будут специальные легкие очки или умные линзы, а от гаджетов в привычном виде ничего не останется. Но сегодня мы имеем то, что имеем. Второй движок – это абсолютное управление пространством и возможность телепорта.

Виртуальный луч на Байконуре

Константин: То самое смешивание реальностей?
Григорий: Где-то смешивание, где-то дополнение. Но я бы хотел выйти за рамки технических отличий XR от AR или от MR. В самом общем случае мы внедряем прямую трансляцию реального объекта (или куска пространства) в виртуальное пространство, и наоборот: внедряем виртуальный (искусственный, запрограммированный) объект в транслируемое реальное пространство.

При этом внедряемые объекты – актер, ведущий, группа людей, автомобиль, фрагмент дома – могут физически находиться где угодно. При этом, разумеется, мы можем работать с полностью измененной копией объекта – с его аватаром. И все это – в прямом эфире, в реалтайме. Иначе, это превращается в классический CGI (CGI, computer-generated imagery – изображения, сгенерированные компьютером. – прим. ред.).

Константин: С какими проблемами мы сталкиваемся, осуществляя такие манипуляции с реальностями?
Григорий: Дело в том, что в случае виртуального продакшна мы имеем дело со сложнейшей технологией буквально на всех этапах производства. Здесь не существует паттерных решений и здесь не срабатывает алгоритм, когда вы, например, по накатанной заказали в студию экраны, потом художники автономно нарисовали для них контент, а затем на съемку приехал дежурный оператор сервера и что-то подобрал из Каталиста.

Узнаваемая ситуация? Я, конечно, утрирую. Но так или иначе, уровень производства в виртуальном продакшене радикально иной. Мы столкнулись не просто с новой технологией, которую закупает рентал, и мы ее можем просто заказать. Мы столкнулись с новой эстетикой, с новыми аспектами психологии восприятия, новыми формами нарратива, техническими, производственными, управленческими и юридическими задачами.

Константин: О юридических вопросах часто забывают.
Григорий: К сожалению, да. Например, комплекс задач по очистке прав на ассеты и другие компоненты, которые вы задействуете в производстве. Очевидно, что виртуальный продакшн – это не автономная услуга по каталогу, а сложная система.

Константин: И такая система требует, по-видимому, отдельного менеджмента?
Григорий: Вне сомнений, виртуальный продакшн требует особенной квалификации менеджеров. Во-первых, работа инженерных, программистских и креативных цехов в нашем случае переплетена в гораздо большей степени, чем когда-либо. Во-вторых, сам производственный процесс развернут в другую сторону: можно сказать, что пост-продакшн в традиционном понимании стал сейчас первой фазой непосредственно продакшна. Что это означает на практике? В первую очередь, нужно осознавать, что подготовка – наше все.

Нужно обязательно все моделировать и принимать решения «до моторов», то есть до начала шоу или мероприятия. Весь контент, абсолютно все должно быть готово заранее! Нужно понимать, что пост в самом общем случае не предусмотрен, а если и запланирован, то косметический. Продюсер виртуального продакшна должен обладать инженерными и IT-знаниями, а также понимать специфику менеджмента смешанных (творческих и технических) команд. А это непросто: управлять талантливыми и креативными людьми высокой квалификации.

Константин: Можно ли выделить в виртуальном производстве наиболее важные проблемы, то, на что нужно обращать внимание в первую очередь?
Григорий: Безусловно. Есть два принципиальных аспекта: проблема достоверности (органичности) и проблема компенсации отсутствия живого контакта.

Константин: Что вы имеете в виду под достоверностью? Ведь, как вы говорите, людей трудно чем-то удивить, и вокруг нас и так много условностей.
Григорий: Удивить трудно. Но чтобы транслировать некоторый опыт, передать информацию в эмоциональной обертке (а именно этим мы с вами и занимаемся), нужно вовлечь аудиторию в поток. Увлечь, заставить поверить и суметь удержать. Представьте себе анимационный фильм. Вы, как зритель, охотно соглашаетесь с условностью мира во вселенной мультика, с нарушением пропорций, с фантазийными образами. Все это – правила игры. Но в нашем случае все работает по-другому: мы смешиваем реальности, а наша аудитория часто не сидит на месте, ее внимание размыто. Мы находимся в рамках реалистичных правил игры, можно сказать, кинематографичных.

Мало передать аудитории намек: представьте, мол, что этот киборг настоящий, а профессор Нолан и правда завис напротив колец Сатурна. Здесь нужно сделать так, чтобы аудитория безоговорочно поверила в это. Не информационно, а эмоционально. Важно, чтобы «суммарная» реальность была эстетически цельной, а не выглядела лишь попыткой и лабораторным экспериментом. Это принципиальный вопрос. Люди моментально реагируют на подвох: из-за одной непроработанной детали вы можете потерять внимание аудитории, утратить ее доверие. Даже если, скажем, ваша нарративная часть (сценарий) безупречна, а созданные миры (пространства) грандиозны. Поэтому технические сложности, влияющие на органичность, нужно тщательно и скрупулезно решать.

Клип 13Kai feat

Константин: Какие конкретно сложности такого рода вы можете привести в пример?
Григорий: Это, прежде всего, проблемы трекинга, черного цвета, цветового баланса, цвета кожи, резкости внедряемого объекта, света и теней, сочленения границ объектов, дискретности движений аватара, масштабирования и так далее. Нельзя забывать про звук: скачки громкости при телепорте, разбалансировка речи и интершумы, жесткие переходы между звуковыми пространствами.

Это серьезные задачи, которые решаются только в профессиональной среде, только в комплексе и только с квалифицированным менеджментом. Поэтому, если вы планируете использовать виртуальный продакшн эффективно, выбирайте тех подрядчиков, которые решают комплексные задачи, имеют опыт и ресурсы для этого.

Константин: Я целиком с вами согласен, но мы, в свою очередь, часто слышим вопрос: зачем так тщательно добиваться органичности? Например, если кому то нужно просто провести конференцию.
Григорий: Смотря какую задачу вы решаете. Если вам нужно просто передать сухую информацию, показать и прокомментировать слайды powerpoint, то проведите конференцию в зуме.

Это идеально. И никаких проблем с органичностью. В то же время, любой оратор, имеющий опыт проведения встреч или занятий онлайн, подтвердит, как трудно увлечь аудиторию на расстоянии, как энергетически затратен процесс удержания внимания. Поэтому как только речь заходит о чем-то более насыщенном, об увлеченности, об управлении вниманием, о трансляции эмоциональных знаний, то здесь просто зум вам не поможет.

Константин: Иными словами, виртуальные технологии больше подходят для нетривиальных задач?
Григорий: Скорее, для задач современных: когда вы хотите коммуницировать с аудиторией на актуальном для наступающего времени языке. Но об этом чуть позже, а пока давайте вернемся к проблеме органичности. Итак, кроме очевидных плюсов – повышение доверия аудитории, более устойчивый и широкий канал передачи эмоциональных знаний, опыта – органичность (достоверность) помогает решить более серьезную задачу. Речь идет о фундаментальной проблеме – компенсации отсутствия присутствия.

Онлайн-мероприятие с использованием дополненной реальности

Константин: Вы имеете ввиду как раз виртуальные конференции, шоу, концерты и другие подобные акции, где аудитория физически располагается в разных местах, но не вместе?
Григорий: Абсолютно. И мы должны это чем-то компенсировать. То, что сопутствует живым мероприятиям – среда сопереживания, совосприятия некоторого опыта, атмосфера ощущения единства, эмоциональное осознание, что ты не один – все это не так очевидно работает в случае виртуального мероприятия. Работает, но абсолютно по-другому. Важно учесть, что пользователь (зритель, участник) виртуального экшена может находиться в любой точке мира и быть при этом в движении.

Константин: Как в нашем случае это работает? Как мы можем компенсировать отсутствие живого контакта?
Григорий: Полностью – никак. Особенно если вы продолжаете использовать прежние подходы, прежние коммуникационные паттерны. В самом общем случае, частичной компенсации можно добиться, если вы удерживаете аудиторию в потоке, если вы работаете над достоверностью, а ваша картинка органична.

Константин: В конце концов, люди уже привыкают быть на удаленке, возможно, в скором будущем, ничего компенсировать не будет нужно.
Григорий: А это время наступило уже сейчас. Будущее рядом, как говорится. Аудитория уже сейчас ждет, что вы предложите ей что-то новое, что вы будете говорить с ней на новом коммуникационном языке, для которого удаленка – просто часть лексики, а виртуальные технологии – лишь отдельный технологический инструмент. Именно о новом коммуникационном языке мы и ведем с вами речь.

Константин: Чем отличается новый язык от текущих способов коммуникации?
Григорий: Давайте, прежде всего, попробуем выявить контуры тех процессов, которые ведут к новой коммуникации. Что изменилось глобально и какие изменения нас ожидают в самое ближайшее время? Во-первых, все мы теперь всегда на связи. Во-вторых, все мы теперь постоянно в движении. Иными словами, это мобильность. Что сдерживает резкий скачок мобильности? Скорость мобильных сетей. Сверхвысокая скорость и пропускная способность мобильной сети не только позволит передавать тяжелый контент, но и быстрее осуществлять облачные вычисления.

Константин: А значит, быстрее обрабатывать контент в реальном времени.
Григорий: Совершенно верно, и это напрямую касается, например, технологий дополненной реальности. Очевидно, что на больших скоростях сети ваш маленький гаджет может обратиться за помощью к внешнему большому серверу (или системе серверов) для выполнения вычислений, а затем получить обратно уже готовый результат.

И таким гаджетом могут быть, например, контактные линзы, с которыми вы видите уже преображенный рендерингом мир. К чему приведет глобальное внедрение 5G, а затем 6G, и так далее, nG? Это создаст условия для резкого роста спроса на контент, создаваемый на новом коммуникационном языке, языке, для которого манипуляции с реальностью – уже встроенная часть грамматики. Возникнет контентный голод, потому что невозможно будет удовлетворить потребность в новом контенте сразу. Мы живем в преддверии большой контентной революции.

Премия МУЗ-ТВ 2021

Константин: Может, все же, эволюции?
Григорий: Соглашусь, коннотация этого термина имеет много оттенков. Но это будет именно контентная революция, потому что все произойдет очень быстро. Например, если во времена появления кинематографа скорость жизни была много меньше, и у мира было время, чтобы освоить новый для своей эпохи коммуникационный язык (язык кино), то текущие обстоятельства совсем другие. И здесь, возвращаясь к вопросу, о чем говорить относительно технологий виртуального продакшена…

Константин: Если не о технологиях, то о некоем новом языке.
Григорий: Именно, о новом коммуникационном языке, инструментальную базу которого составляют не только технологии дополненной и расширенной реальности, но и различные технологии синхронизации, захвата мимики, реалтайм рендеринга, алгоритмы обработки сред и света. Давайте попробуем выделить специфику нового коммуникационного языка, это может подсказать всем нам идеи, как эффективно применять виртуальный продакшен и другие инструменты уже сейчас. Во-первых, это реалтайм и полиреальность, то есть возможность абсолютного управления пространством в режиме реального времени.

Иными словами, мы можем строить миры, смешивать реальности, осуществлять телепорты в режиме прямого эфира. Границ больше нет. А миров множество. Во-вторых, вариативность. События развиваются нелинейно, изменения происходят на ходу. В-третьих, очевидно, это интерактивность: аудитория может влиять на течение событий, давать обратную связь, также в режиме реального времени.

Константин: Люди также могут общаться и между собой.
Григорий: Да, абсолютно. Это коммуникативность: создание множественных прямых каналов связи между индивидуальными пользователями (зрителями, участниками), которые формируются поверх общего нарратива. Далее, еще одна важная специфика нового коммуникационного языка – это персонализация, то есть возможность индивидуальной подстройки контента и нарратива под конкретного потребителя. Далее, кросс-платформенность. Наша аудитория, находясь постоянно в движении, может потреблять контент где угодно и посредством чего угодно: телевизора, игровой консоли, гаджета, уличных экранов, очков и так далее. Ничего также не мешает вам смешивать реальности буквально: допустим, мы увидели какого-то персонажа на экране гаджета, и вот мы его встречаем физически на улице.

Константин: Тогда понадобится множество таких персонажей в разных локациях по всему миру?
Григорий: Не обязательно: применяя такое свойство, как персонализация, мы можем подстраивать контент под конкретную аудиторию, под конкретного пользователя. И если мы, например, затеяли мероприятие в формате городского квеста, то в силах предусмотреть эти нюансы в разных городах одновременно. К важным характеристикам нового коммуникационного языка необходимо отнести также мультимодальность: когда мы задействуем не только звукозрительный ряд, но также и другие каналы воздействия. Например, тактильные ощущения, которые передают некоторые современные смартфоны и игровые консоли.

Стрим-шоу для Astrazeneka

Константин: В целом все это очень напоминает большую игру.
Григорий: Да, новый язык имеет много общего с компьютерными играми. Всем нам близка идея Хидэо Кодзима (японский геймдизайнер, сценарист и продюсер разработки компьютерных игр. – прим. ред.), что игры – это будущее кинематографа. Но игра изначально требует от вас активного участия. Так или иначе, но новый коммуникационный язык действительно имеет много общего и с играми, и с кино. Можно сказать также, что новый язык является прямым наследником звукозрительного языка кино и всех его приемов, включая вертикальный монтаж.

Константин: Итак, подводя итог: от разговора о AR и XR мы пришли к новому языку коммуникации.
Григорий: Да, об этом и речь. Технологии AR и XR не автономны. Отдельно, сами по себе, они не могут решить вашу задачу полноценно в стиле вау-эффекта. Необходим комплексный подход. Осознание, что AR и XR в наших руках – это всего лишь инструмент нового коммуникационного языка, разговора на котором ждет от нас современная аудитория.

Константин: Хорошо, если мы сможем создавать любую «картинку» искусственно, сами рисовать свет, кого угодно телепортировать, смешивать реальности, как захотим, а результат делать доступным неограниченной аудитории по всему миру в режиме реального времени, возникает главный вопрос. Вопрос, который еще более актуален после локдауна. Что же будет с традиционными живыми мероприятиями, что будет с традиционным прокатом техники?
Григорий: Самая большая проблема для live-индустрии сегодня – это даже не последствия локдауна как такового. Дело в том, что люди распробовали новый опыт. Оказывается, есть способы жить, работать и отдыхать на удаленке. Оказывается, есть инструменты для online концертов, конференций и съемок. Конечно, эти инструменты еще не совершенны, а новый коммуникационный язык, о котором мы говорили выше, только начинает нами осознаваться. Но массовая аудитория уже ощутила, что виртуальная жизнь существует, и что это работает. Тем не менее, в самое ближайшее время традиционной live-индустрии, наверное, ничего не грозит, кроме, разумеется, новых локдаунов.

Константин: Надеюсь, это не случится.
Григорий: Аналогично. Однако, контентная революция близится. Как приближается и время, когда традиционные live-развлечения могут существенно уступить в популярности новым смешанным медиа. И дело даже не в том, что свет, экраны или сценические конструкции будут заказывать меньше, а в том, что обращаться будут в компании, предоставляющим сервис, более соответствующий духу времени.

Константин: Многие прокатчики уже успели открыть у себя хромакейные павильоны, например.
Григорий: Да, это правда. Но открыть хромакейный павильон и заняться виртуальным продакшном – это разные процессы. Это совсем другое дело, понимаете? Это не тот случай, когда можно, например, привезти новые экранные блоки, новые лебедки или супершарпи и сразу пустить их в работу, в прокат. Виртуальный продакшн, повторюсь, – далеко не просто новая техническая «фича», которую заносишь в каталог предоставляемых услуг под новым артикулом. Это комплекс, который строится постепенно. Команда, которая формируется. Опыт, который нарабатывается не за один выезд на площадку.

Виртуальный продакшн – это не просто зеленый экран или светодиодная циклорама. Это софт. Это программисты, инженеры, 3D художники, специалисты по захвату движения. Менеджеры, юристы. Постоянные рабочие контакты с производителями программного обеспечения. Систематическая работа по решению проблем совместимости оборудования. И так далее. Даже если большая часть команды виртуального продакшна привлекается сессионно, все равно должны быть налетаны многие часы совместной работы над проектами. А это время.

AR-шоу на матче Ночной Хоккейной Лиги, 2021

Константин: Получается, что чем раньше наши традиционные прокатные компании начнут модернизацию, тем больше шансов будет выжить в будущем?
Григорий: Это вопрос стратегии. Но прежде всего, нужно четко представлять все те процессы, о которых мы сегодня успели немного поговорить. Повторюсь: дело не в технологиях, не в технике. Людей не интересуют больше технологии, им интересен новый опыт, который они могут получить, и который вы можете им предложить. Сегодня важны идеи, время технологий ушло.

Константин: Означает ли это, что и время технических компаний ушло?
Григорий: Пока не ушло, но уходит. Разумеется, сам по себе прокат техники не исчезнет. Но, по-видимому, рынок будет существенно переформатирован в сторону покупки комплексных решений, а не услуг по прокату отдельных артикулов того или иного прибора. И решения эти будут основаны на новом коммуникационном языке.

Беседа состоялась в июне 2021 года.
Смотрите видео для этой статьи

в соответствующем разделе на сайте www.show-master.ru