Современные программные средства для VJ и видеоинсталляций

Филипп Баранов,
aka mix2ra,
mix2ra@mail.ru

VJ-технологии вызывают в нашей отрасли сегодня живейший интерес. Средства доставки AV-контента все доступнее, выбор все шире, а обслуживание все проще. Плазменные панели, LED-экраны и проекторы больше не являются чем-то недостижимым.

Просто повесить плазму и показать футбол, заставку, диск с клипами или фоновое видео – мало, виджей подготовит и «сыграет» видеоряд лучше, его воздействие будет деликатнее и сильнее. Владельцы клубов, ресторанов, продюсеры и постановщики массовых мероприятий понимают, что конкуренция выделяет этот вид творчества в самостоятельную профессию – полную аналогию с DJ. VJ-тема имеет тенденцию выходить на первый план в целом ряде случаев, когда визуальный ряд работает лучше громкой музыки. Нередко VJ-средствами решаются театральные задачи, а сами виджейские программы вырастают в модульные среды для создания интерактивных приложений и мультимедийных инсталляций.
Разработчики программного обеспечения сотрудничают с опытными виджеями, которые давно выступают и создают необходимый инструментарий сами. И когда о некоторых популярных VJ-программах говорят, что они «навечно в глубокой бете», это выражение не несет негативного оттенка. Обновления выходят настолько часто, что продукты формально стабильными побыть не успевают. Хоть иногда и приходится старые сеты тестировать заново, опытных виджеев и видеоартистов это не пугает. Преимущества значительнее: развитие, быстрое исправление ошибок и добавление новых возможностей, включая поддержку новых ОС. С другой стороны, сейчас все больше людей снимают и монтируют видео, создают анимацию. Многие из них рано или поздно задумываются о публичных показах и адекватном инструментарии. Для начала их виджейской карьеры важна правильная оценка того, что уже есть. Кто-то предпочтитает простоту, интуитивно понятный интерфейс и стабильность, а кто-то – гибкость, экономное распределение ресурсов и возможность запрограммировать все под собственные нужды.
По мнению многих виджеев, самыми популярными и перспективными программами являются Resolume Avenue 3, VDMX5 и Isadora. Все три программы имеют реальную цену, приемлемую стабильность и в общем виде предъявляют вполне выполнимые требования к компьютерам. Скажем так: МАС-mini с интегрированным видео, конечно, не потянет, но мощности современной рабочей станции на начальном этапе будет достаточно. В этой области есть даже переносные решения – портативные компьютеры Apple или DELL с дискретными GPU с собственной памятью и возможностью подключения второго монитора. На примере этих трех программ мы с вами и обсудим VJ-тренды*.

*Оптимальному подбору VJ-оборудования журнал «Шоу-Мастер», опираясь на интерес читателей и дистрибуторов подобной техники, в будущем
планирует уделять пристальное внимание. Поэтому ждем ваших откликов.

При выборе VJ-программы приходится учитывать следующие критерии.
– Платформа. МАС OS X или Windows. Искушенные профессионалы покупают компьютеры для программ, а не наоборот. Но если новая программа работает на привычной, имеющейся платформе – это плюс. Все три наши программы в демо-версии (без регистрации) имеют полностью рабочий функционал.

Resolume Avenue 3

– Особенности. Что представляет собой рабочий процесс, на чем сделан акцент? Секвенсер с памятью сцен или микшер с эффектами? Поддерживается ли несколько дисплеев программно или понадобится дополнительное оборудование? Каково доступное количество каналов и слоев, количество эффектов? Фиксированно ли количество слотов или возможна свободная конфигурация под задачи и производительность системы? Может ли программа объединять мощности нескольких компьютеров, распознавать движение или спектр во входных потоках в реальном времени, создавать и использовать управляющие данные и т.д.?
– Типы импортируемых файлов и способ импорта. Могут потребоваться определенные кодеки. Все это значимо. С преобразованием форматов и разрешений справляются внешние утилиты, но кто захочет работать в одной программе? Сжатое видео меньше весит, но сильнее грузит компьютер при воспроизведении с заданным разрешением. Лучше футажи конвертировать заранее, оставляя ресурсы для realtime эффектов.
– Типы проигрываемых файлов и воспроизведения. Поддерживаются ли mov-файлы, avi-файлы, mp4-файлы, 3d или swf-объекты?
– Поддерживаемое разрешение и форматы контента зависят от возможностей программы и подключенного проекционного оборудования: 320х240, 640х480, 800х600, 1024х768 и выше; PAL, NTSC.
– Типы сообщений (потоковое видео, компьютерная графика, 3D, аудио, телетекст). Количество входных видеопотоков в реальном времени, воспроизведение больших файлов непосредственно с носителя, загрузка предварительно сохраненных банков со всеми параметрами. Загрузка с переконвертацией, предпросмотром и в реальном времени.

VDMX5

– Поддерживаемое выходное разрешение, количество экранов, программное или аппаратное разделение на экраны. Возможности манипуляций с клипами: ВРМ проекта реверс, скрейч, мониторинг, прослушка/протяжка, изменение скорости, последовательности и направления воспроизведения, перемещение и воспроизведение по меткам, зацикливание в реальном времени, модуляция параметров посредством LFO, синхронизация с аудио или внешними синхросигналами DMX, MIDI и OSC.
– Эффекты (встроенные, дополнительные, количество одновременно). FreeFrame, QZC.
– Управление. Для запуска клипов, событий и работы с эффектами применимы экранные элементы, компьютерная клавиатура и мышь, а также дополнительные контроллеры (MIDI, OSC, DMX). Тачскрины, пад-панели, планшеты, сенсоры, датчики и камкодеры дают множество возможностей, недостижимых иначе. Они позволяют виджею в реальном времени играть и реагировать на ситуацию оперативно.
– Встроенный секвенсер, возможность заранее запрограммированного воспроизведения последовательности, рандомизации, автомикширования.
– Возможность назначения каналов на эффекты, последовательности эффектов, передачи в реальном времени потоков в другие программы, на внешнее оборудование в цифровом виде.
– Возможность назначать аудиоканалы на физические и виртуальные выходы, группировать потоки. Возможность передавать сгенерированные в программе управляющие сигналы различных форматов наружу: в другие программы, управлять внешним осветительным оборудованием, лазерами, роботизированными видеокамерами, реле и сервоприводами сценической механики, пиротехникой и спецэффектами.
Программные VJ-решения имеют не только особенности, но и много общего. И тут важно выделить их сильные и слабые стороны, для того чтобы сделать выбор на основе своих целей и возможностей.
О Resolume Avenue 3 будет рассказано несколько подробнее, с тем чтобы оттолкнуться от этого, когда дело дойдет до двух других: VDMX5 от VIDVOX и Isadora.

Isadora

Avenue 3 производства компании Resolume многие VJ-сообщества признают одним из самых популярных видеосеквенсеров. RA3 предоставляет realtime-окружение с тремя каналами, восемью видеодеками и видеомикшером. На каждом канале есть слот для видеоклипа с аудио вместе или отдельно, слот для видеоэффекта, слот для аудиоэффекта и соответствующие экранные элементы для представления и управления. Еще три эффекта могут быть применены к общему видеопотоку. Вы можете управлять работой программы при помощи экранных элементов, мыши и клавиатуры, OSC-протокола и MIDI-команд из другой программы или с подключенного MIDI-контроллера. Микширование видео с эффектами в реальном времени и другие манипуляции в программе можно записать и использовать в результате в качестве клипа на любом из каналов. Видеомикс можно редактировать сразу в программе и отрендерить. Для RA3 необходимы Adobe Shockwave Flash, directX не ниже 9.0 и экранное разрешение не ниже 1024х768 (1280х1024 рекомендуется). Для серьезной работы в RA3 нужна установка на чистую систему или под отдельной учетной записью без загрузки ненужных программ. В деморежиме на видио и аудиовыходах переодически ненавязчиво появляется аудио и видео лого продукта. Других неудобств нет. В проекте demo.avc есть отличные футажи, демонстрирующие возможности RA3.
Интерфейс RA3 похож на многие диджейские программы, справа внизу даже есть окно подсказки названий и назначений экранных элементов. Слева внизу располагаются референсные окна предпросмотра и основного видеовыхода. Основной видеосигнал (Screen Setup -> Output) можно программно разделить между несколькими экранами, оставив рабочее окно только на одном. Там же видны все доступные экраны/драйверы системы, производится настройка разрешения. На выход рекомендуется 800х600, а на рендер/процесс 400х300.
Загрузка мультимедийных файлов с расширениями avi, mov, qt, mpg, mpeg, swf, bmp, psd, gif, jpg, jpg и wmf производится перетаскиванием из файлового браузера RA3 в палитру. Возможна загрузка файлов по сети с указанием пути. Возможна игра с двух RA3-компьютеров и общего диска. Основное место интерфейса занимает палитра из 30 окошек в 10 колонках с превью-кадрами клипов. При загрузке происходит назначение на каналы. Кликом по названию запускается предпросмотр одного или нескольких клипов с эффектами в соответствующем окошке. Запуск клипов с загруженными файлами производится нажатиями на кнопки [1 2 3 4 5 Q W E R T A S D F G Z X C V B] или кликом мыши в окошке клипа. Есть прямое/обратное (N), случайное воспроизведение видео (M) и пауза (,). Перетаскивая ползунок на временной шкале видео, можно исполнить скрейтч. Кликом на канале слой переводится в активный, всего RA3 работает с тремя слоями. Кнопки (F1 F2 F3) служат для быстрой смены активного слоя.
Доступные эффекты выбираются в соответствующем списке браузера и назначаются на отдельные каналы (по одному) и на видеовыход RA3 (до трех одновременно). В реальном времени можно изменять несколько параметров эффекта одновременно. Слева у канала есть микшер с кнопками байпаса, соло, транспортом, и регулировками (V) видео, громкости (A) аудио и (AV) целиком. Щелчком по (X) слот канала очищается для загрузки в него другого клипа.
Функция записи видео на жесткий диск позволяет сразу же импортировать это видео на канал без остановки остального воспроизведения. В рамках локальной сети между компьютерами с RA3 можно отправлять видеопотоки. Все они видны в списке VIDNET servers в таблице Sources. Дополнительно в списке видны генераторы видеопотоков и Capture Devices. RA3 осуществляет захват FW, USB, DV и вэб-камер, TV-тюнеров и S-video аналоговых входов. Таким образом, программа может выступать видеомикшером нескольких источников сигнала, в том числе и с разных компьютеров. Достаточно название компьютера или камеры перетащить на свободный канал и использовать этот поток как еще один видеофутаж. Для разрешения 320х240 и 25 fps сеть 100 Мбит это минимум. Firewire-подключение в этом плане отлично подходит и просто настраивается. Более подробное описание RA3 в рамки этого материала не входит. На очереди VDMX5.
VDMX5 – модульная среда, позволяющая собирать видеоприложения, работающие в реальном времени под конкретные задачи. Поэтому их пользовательский интерфейс всегда выглядит так, как вам нужно. Это важное отличие разработчики считают большим преимуществом. Пользователь имеет дело только с необходимым для реализации его проекта видом и количеством модулей, мощности компьютера используются рациональнее, чем в случае статичного интерфейса и конфигурации. После скачивания и разархивации программа запускается на платформе MAC OS X без установки. VDMX5 работает на Intеll MAC и на РowerРС-компьютерах.
Для ознакомления со всеми функциями покупка не требуется, но сохранение результатов невозможно. Одна лицензия позволяет установить VDMX5 на три компьютера. В закладке Help находится 27-шаговый обучающий курс, легко позволяющий составить представление об основных возможностях программы. Обучающие материалы в рамках Википедии и http://wiki.vidvox.com/index.php/Main_Page форум на сайте разработчиков охватывают любые вопросы по программе.
Все устроено и расположено просто и интуитивно: видеоклипы и документы, созданные в Quartz Composer, воспроизводятся в слоях, эффекты применены к потоку каждого слоя в отдельности и к композиции в целом. Возможно создание плагинов с собственным интерфейсом, определяемым дополнительным функционалом. В нем одновременно могут быть простые кнопки для запуска клипов, окна предпросмотра, индикаторы, диаграммы, датаграммы и визуализаторы анализаторов аудио и модули для синхронизации событий с внутренним и внешним MIDI-таймкодами. VDMX5 позволяет управлять с MIDI-контроллеров почти любым экранным элементом, есть режим распознавания с назначением. Так же поддерживаются OSC и DMX-контроль. Все конфигурации и назначения сохраняются в пресет-менеджере и вызываются в любой момент в сохраненном виде.
Как и в других программах для работы с изображением, в VDMX5 все в слоях: слои имеют источники и последовательности эффектов, слои могут смешиваться, перекрываться, накладываться, слои могут группироваться, с группами слоев можно работать, как с новыми слоями. Для работы со слоями есть Layer Manager – палитра из окошек, где слои добавляются и «убиваются». Напоминает фотошоп, не правда ли? Quick Time movie, 3D-объекты, QTZ (Quartz Composer) и txt-файлы, графические файлы и потоки с камер и захваченное видео с аналоговых входов – все это программа поддерживает в количестве, ограничиваемом лишь вашими потребностями или мощностью компьютера.
Для управления есть кнопки и слайдеры, которые могут назначаться, автоматизироваться и синхронизироваться с источниками данных – событиями и командами VDMX5 и внешней информацией. Как вы уже поняли – VDMX5 – это патч из имеющихся плагинов. Плагины не расходуются раз и навсегда – запускайте несколько экземпляров любого. Layer Control – название говорит само за себя – управляет параметрами слоя. Здесь есть транспорт, регулятор скорости и т.д.
Окно предпросмотра (Preview Window) служит для мониторинга видеопотоков. Двухканальный микшер (Two Channel Mixer) служит для изменения прозрачности (а точнее, непрозрачности) двух слоев или групп и кроссфейда между слоями выбранным способом. Медиа-корзина (Media Bin) служит для запуска файлов для проигрывания в слоях, проигрывания файлов с диска и сортировки файлов в рамках VDMX5. Если какого-то не нашлось, вы можете написать и использовать недостающий. В сравнении с RA3 VDMX5 выглядит более экспериментальной. Здесь нет поддержки программного разделения на несколько экранов или работы в сети из компьютеров с VDMX5, как это возможно в RA3. В базовом пакете плагинов нет решений для передачи видео на другой компьютер по FW, а для работы с Flash используется Quick Time. Но эти возможности появляются при использовании плагинов сторонних разработчиков. Например, FW-видеоклиент стоит 5 долларов. Нормальный порядок цены за гибкость.
Isadora – модульная программная среда для разработки realtime видео-аудио приложений на платформах MAC OS X и Windows PC. Windows-версия немного отстает в развитии, но пользуется не меньшей популярностью. За программой стоит Марк Кончилло, который еще до выпуска продукции на рынок долгие годы занимался аналогичной деятельностью в рамках танцевальной труппы Troika Ranch (Нью-Йорк). Интерфейс Isadora Core во многом похож на известные продукты вроде NI Reaktor, Max/MSP/PD и другие модульные программные средства. После запуска слева вверху появляется браузер со списком модулей, которые в Isadora называются Actors – Актеры. Модули из браузера перетаскиванием помещаются в рабочее окно программы, где их входы и выходы соединяются виртуальными проводами. На troikatronix.com доступны SDK-наборы, поэтому количество модулей постоянно растет, в том числе и усилиями сторонних разработчиков. Типичная конфигурация включает в себя QT-плейер, подключенный к модулю видеоэффектов, который подключен к Projector Actor – модулю, показывающему картинку на экране. В базовой установке идут несколько десятков «Актеров» для микширования, генерации и обработки как изображения, так и звука. Isidora часто служит для создания интерактивных инсталляций, где видео, захваченное с камеры, распознается и обрабатывается для управления аудио или DMX-приборами. Перформанс, где танцор снимается тепловизором, программа распознает его контур, генерирует модулируемую музыкой текстуру и точно проецирует ее обратно на танцора с учетом объема тела, – задача, с которой Isadora уверенно справляется в реальном времени! Для управления в реальном времени служат разнообразные экранные элементы, такие, как кнопки, слайдеры, регуляторы. А также клавиатура с мышью, USB, MIDI и OSC, сенсоры, триггеры, камеры, микрофоны и потоки данных. Кроме эффектов собственного формата поддерживаются FreeFrame-плагины и AU/VST для аудио. Креативный виджей получает практически безграничные возможности, в одной системе могут работать несколько компьютеров с Isadora, поддерживается несколько экранов программно или аппаратно.
Подводя итог, можно сказать, что из трех программ каждый может выбрать себе инструмент по потребностям и возможностям. Если кратко: RA3 – отличный выбор для виджеинга как такового. VDMX5 дает ощущение полного контроля над происходящим и обещает многое в будущем. Isadora – серьезный, всеми признанный инструмент, который изучают в художественных колледжах. Что ж, выбор за вами.