Трекинг и мэппинг: как современные технологии применяют в сценографии

m24.ru/Никита Симонов

9 февраля – день памяти Федора Достоевского, и по такому случаю корреспондент "Цифровой Москвы" сходил в Театр мюзикла, где идет рок-опера "Преступление и наказание". Шоу интересно тем, что там используется технология 6D-видеомэппинга, о которой мы узнали подробнее. 

Фото: предоставлено организатором

Итак, мы в зрительном зале. Пока кроме специалистов, которые, собственно, и настраивают оборудование, и журналистов, здесь никого нет. Совершенно пустая сцена, а из декораций только голые стены высотой примерно в семь метров. "Без артистов вам будет нагляднее и понятнее", – поясняют люди, отвечающие за техобслуживание. 

 

фото: digital.m24.ru

Пару лет назад компания Polymedia приобрела систему трекинга Black Trax real-time tracking system, которая позволяет осуществлять видеомэпинг на движущихся объектах в режиме реального времени. Благодаря этой инновации, которая, к слову, использовалась в сценографии впервые в России, можно увидеть движущуюся стену дома, в окнах которой полыхает пламя, а также множество не статичных проекций, перемещающихся вместе с объектами. 

 

Фото: предоставлено организатором

"Почему мы не использовали простой мэппинг (3D-проекцию на физический объект с учетом его геометрии и местоположения в пространстве) или светодиодные лампы?", — спрашивает журналистов и блогеров представитель компании Polymedia Игорь Ишеев. В зале тишина.

"Казалось бы, технологий много разных, можно было бы применить светодиодные экраны: повесить их, и они бы очень хорошо светили, при этом была бы "красивая картинка". Но если объект бегает, прыгает и поет, то приближать светодиодную лампу будет очень тяжело. У нее будет определенный вес, определенный тип работы. И еще у нее будут коммуникации. Можно было использовать просто проекцию, что мы сейчас вам покажем (серая стена внезпно стала красочной и разноцветной, но недвижимой). Такой мэпинг тоже можно использовать, но есть нюанс: стены перемещаются в течение всего представления по сцене. Причем делают они это много раз и по разным траекториям, и если хотя бы одну из них сдвинуть, то проекция останется на месте, и мы не смогли бы передать изображения ровно в окна и двери — вся картинка бы сбилась. Поэтому было принято решение использовать систему трекинга. Она позволяет отслеживать местоположение стен относительно сцены, не теряя их привязанности к "земле", — добавил Ишеев.

 

Фото: предоставлено организатором

Чтобы понять, как все устроено, нужно разобраться, как работают два основных компонента системы. Собственно, первый из них — это трекинг. Он выглядит так: на стенах установлены специальные датчики (их много и они очень маленькие, размером примерно с человеческий ноготь, поэтому увидеть их можно только на расстоянии вытянутой руки, из зала это сделать невозможно). Устройства расположены по всей стене и выполняют роль так назывемых инфракрасных маячков. Они отрисовывают размеры стены, ее габариты с помощью специальной программы, которая воспринимает то, что "видит" как трехмерный объект.

Кроме того, существует так называемая карта покрытия с камерами. Эти датчики работают в инфракрасном спектре, который не видим человеческому глазу. Что позволяет эта система делать: на территории сцены и в зрительном зале закреплены специальные камеры ифракрасного спектра, которые считывают перемещение объектов, вырисовывают траекторию лучами местонахождение той или иной стены, передают информацию и тем самым прорабатывают диметрическую проекцию. 

 

Фото: предоставлено организатором 

Таким образом, трекинг получили, идем дальше. 

Теперь нужно проявить картинку.

Второй частью всей этой системы стала разработка британской компании d3 Technolohies, чей видеосервер был задействован для обработки трекинга данных с целью дальнейшей прорисовки контента (что и является мэпингом). Этот сервер из множества точек, где расположены датчики, прорабатывает всю диметрию и переносит информацию на экран. Но дело в том, что когда система видит объект (стену), она воспринимает ее как ровный прямоугольный предмет. При перемещении же стена визуально меняется относительно зрительного зала: где-то становится трапецией, где-то принимает другую форму. Программа постоянно в режиме реального времени перерисовывает контент, учитывая его движение, перспективу, сторонние объекты (например, подоконники и выступы).

В обычном мэпинге все выглядит так: делается контент, переносится на проекцию и получается статичный мэппинг. Здесь же мэппинг постоянный. Стена меняет свое расположение, меняя фокусное положение прожекторов относительно камер. 

 

фото: digital.m24.ru

Кажется, все просто... Однако это не так. Например, в эпизоде "Беспорядки" есть сцена, где пламя на улице захватывает стены зданий, огонь видно в окнах. Чтобы добиться нужного реалистичного эффекта, пришлось воспользоваться технологией фронтальной и обратной проекции. 

Фото: m24.ru/Никита Симонов

В зале есть четыре проектора, которые создают изображение посредством "сшивки" (бесшовного изображения любых размеров с любым разрешением, как, например, в ледовом дворце "Айсберг"). Проекторы — разработка Panasonic, и, по словам тех, кто готовил спектакль, с технической стороны они отличаются от других тем, что в этих устройствах используются их собственные "мозги", а не мощности внешних процессоров или компьютеров.

При этом аппаратный комплекс в данном случае сам ничего не сшивает и в сигнал не вмешивается, а лишь вырабатывает команды для необходимых настроек в проекторах на основе измерений. Проектор применяет камеру высокого разрешения, что дает преимущество в степени заметности перекрытий изображения, которые занимают порядка 10% от общей площади экрана. Проще говоря, технология позволяет качественно сшивать уже не два и не три проектора, а реализовывать систему 4х4. Это предполагает 16 областей сшивки, и при этом в каждой может работать по три проектора. Итого их может получиться 48. 

В опере задействовано 8 проекторов на сцене, а в течение спектакля декорации сцены меняют свое положение 36 раз, и 36 раз меняется контент. 

 

фото: digital.m24.ru

Выглядит это примерно так: когда происходит пожар, сначала горит здание изнутри, и только потом пламя вырывается наружу. Чтобы добиться реалистичности происходящего, была внедрена технология обратной проекции. За стенами находятся аппараты, которые в отличие от обычных, светят не вперед, а в обратную сторону — от себя. Проекция отображается на просветный экран, при которой зритель и проекционное оборудование расположены по разные стороны экрана.

Такая техника имеет как достоинства, так и недостатки. К плюсам экранов обратной проекции относится независимость от внешнего освещения: отсутствуют любые ограничения на интенсивность освещения комнаты и расположение в ней светового оборудования. Но эта техника требует обязательного наличия дополнительного помещения за экраном, так как оборудование нуждается в доступе сервис-инженера. Благодаря обратной проекции и получилось добиться эффекта, когда сначала огонь появляется в окне, и только потом в других местах, где уже работает система фронтальной (прямой) проекции.

Сервер d3 определяет яркость вcех проекций. Так как используются разные материалы, цвет на участках может отличаться. Система анализирует оттенки и корректирует яркость и насыщенность цвета, чтобы он везде совпадал.

 

 

Задача камер не только видеть объект, но и отслеживать изменение перспективы с любого места. Для того, чтобы система различала, где правая или левая стена, была создана трехмерная модель всей сцены: не только статичные стены, но и лошади, которые появляются на ней, люди, автомобили — всего непрекращающегося действия. "Точки", расположенные по залу и сцене, отвечают каждая за свой участок, передавая инфракрасный сигнал: например, датчик "А" – за правый верхний угол, а "Б" за левый нижний и так далее. Таким образом вырисовывается фигура декорации, которая отображается в системе. 

При этом "точки" сами по себе не загораются. Они как телефоны: у них есть аккумулятор, и их нужно заряжать. Система держит заряд всего 4 часа, поэтому приходится все время следить за стабильной работой устройств, от которых столько зависит. Это заставило специалистов сделать каждую стену автономной с возможностью быстрой зарядки, причем адаптер подключается к обычным розеткам. 

 

фото: digital.m24.ru

Еще один технический нюанс — это то, что работа всей этой программы требует... чистоты. Обычный пух или пыль, которые под воздействием света нагреваются и поднимаются в воздух, могут нарушить передачу сигналов. Система может что-нибудь не то считать или "неправильно понять" поступающие сигналы — иными словами, "сойти с ума". Как утверждают представители компании Polymedia, эту проблему решить удалось, однако каким образом, специалисты уточнять не стали, назвав свое изобретение "коммерческой тайной". 

Актуально по теме