Чёрная магия трёхмерной графики

Из 2D-фотографии в 3D-модель за один день

Автор: Lucija Pilic

Что общего между зрелищным экшеном Star Wars: Battlefront, военной драмой Metal Gear Solid V: The Phantom Pain и хорватской философской головоломкой The Talos Principle? Все они использовали метод фотограмметрии, чтобы оживить на экране виртуальный мир. Фотограмметрия — это технология, позволяющая при помощи визуальной съемки и двухмерного сканирования определенного объекта воссоздать его в оригинальной форме в трехмерном виде. Истоки данной техники восходят ещё к середине 19-го века, когда были изобретены камеры; в основном она использовалась археологами, геологами, архитекторами и метеорологами. В последнее время фотограмметрия стала всё чаще и интенсивнее использоваться в индустрии фильмов и компьютерных игр для создания трехмерных моделей. Главная причина того, почему разработчики и продюсеры начали всерьёз присматриваться к этой технологии, заключается в появлении передового, профессионального и в то же время относительно легкодоступного программного обеспечения, которое позволяет снять предмет со всех сторон и ракурсов, а затем автоматически выполнит необходимые операции по подгонке и совмещению изображений и сгенерирует на их основе 3D-модель, которую впоследствии нужно будет только улучшить и доработать. Несмотря на то, что вначале это может показаться чересчур сложным, на практике данный процесс протекает куда легче и быстрее, чем создание трехмерных моделей персонажей и объектов окружающей среды с нуля, и значительно облегчает общий производственный процесс. В этом уверены и разработчики из студии Croteam, пионеры фотограмметрии в Хорватии, которые впервые познакомились с этой технологией во время создания The Talos Principle и теперь с ней не расстаются.

От Солин до Помпеи

«Во время заключительной стадии разработки Serious Sam 3, в интернете начала приобретать популярность новая технология под названием фотограмметрия, которую мы изучали и до создания Serious Sam 3, во время оформления концепции игры, поскольку наши игры зачастую основываются на различных реальных местах, и людям в студии приходилось тщательно воссоздавать статуи, колонны и другие нужные объекты на основе настоящих прототипов.

АДМИР ЕЛЕЗОВИЧ, главный арт-директор и эксперт по фотограмметрии в Croteam: «Всё началось с мобильного телефона и копии программы 123D Catch от Autodesk. Прошло время, и теперь у нас появилась целая система, позволяющая сканировать некоторые объекты, начиная с мелких предметов и заканчивая людьми.»

Для этого нам, как правило, приходилось путешествовать в те места, которые должны были появиться в игре (Египет, Рим, Франция), и мы искали способы использовать собранные данные для создания ресурсов. Тогда, наконец, и появилась фотограмметрия, которая оказалась для нас чем-то новым. Аналог старого метода создания трехмерных моделей и неких мест», вспоминает Адмир Елезович, арт-директор и эксперт по фотограмметрии в Croteam.

Первые пробы пера начались в 2013 году, а в ходу использовался один-единственный мобильный телефон и копия программы 123D Catch от Autodesk: «Первоначально мы пытались просто устойчиво закрепить нужный объект, а затем ходили вокруг него и фоткали с разных сторон. Это было более-менее приемлемо для проверки технологии, нам было интересно посмотреть, каким выйдет результат. Но для финального производства этот способ все равно не подходил. Тогда мы достали четыре камеры. Добавив четыре камеры, мы могли перемещать их вокруг объекта, но вскоре на практике к нам в голову пришла идея создания поворотного механизма. Так была сделана вращающаяся стойка на моторчике. В центр стойки помещается предмет и в течение 38 секунд стойка делает полный круговой поворот. Однако требовалось ещё как-то совместить съёмку со вспышкой, поскольку в фотограмметрии крайне важны правильные условия освещения. Они способны обеспечить качественные снимки. Появилась необходимость как-то синхронизировать вспышку и камеры. Мы попытались найти уже готовые коммерческие решения, однако ничего достаточно приемлемого для себя не отыскали — камнем преткновения становилось либо качество, либо цена. Тогда нам не оставалось ничего лучшего, как сесть и разработать свою систему, подключенную к компьютеру, которая бы регулировалась собственной программой, задающей требуемые параметры, необходимые для работы, и управляла камерами и вспышками для обеспечения оптимального качества изображений.»

Качество или количество

СТОЙКА ДЛЯ ПРЕДМЕТОВ Для обуви и других вещей требуется специальный подход

На данный момент в распоряжении Croteam находится 12 камер фирмы Canon, две вспышки, поворотная стойка, на которую помещается требуемый для сканирования объект, в ручную собранное сопряжённое устройство и собственное программное обеспечение, которое управляет всем процессом. С помощью этой установки было отсканировано уже около 700 объектов. Чего только не было отснято: статуи, модели, оружие, камни, листья... В дополнение к студийным съемкам, команда провела много времени на рабочих выездах, как на своей родине, так и за рубежом: Солина, Истра, Загреб (Зриневац, Горний и Долний град), Рим, Помпеи, Франция... Одним из наиболее серьёзных испытаний была съемка в изменяющихся погодных условиях. Необходимо свести к минимуму проблемы с освещением (из-за теней) или влагой (из-за отражений). Лучше всего вести натурную съемку во время облачной погоды или во время заката и/или рассвета. В идеале требуется снимать с минимальной светочувствительностью и полузакрытой диафрагмой. Разумеется, во время съемки объект должен быть максимально неподвижен, чего, по словам Елезовича, добиться крайне трудно: «Снимать людей сложнее всего, поскольку, как я уже сказал, полный круг съёмки занимает 38 секунд. И на протяжении этих 38 секунд человек должен застыть и постараться не шевелиться».

ОБЩИЙ РЕКВИЗИТ Модели оружия и боеприпасов - важная часть арсенала игры Serious Sam, над четвертой частью которой сейчас идет напряжённая и экстенсивная работа

Во время записи фотограмметрии крайне желательно сделать как можно больше снимков, чтобы потом, придя домой, добавив их в программу и дождавшись конца рендеринга, не стенать из-за некой мелкой оплошности, из-за которой целый день был убит насмарку. За 38 секунд установка Croteam успевает сделать 456 фотографий. Елезович объясняет, что на генерацию сложной модели, например, человеческого тела, требуется от 8 часов до целого дня, что, тем не менее, куда быстрее по сравнению с классическим способом создания трехмерных моделей: «Конечно, делая всё вручную, у тебя больше свободы действий, однако так ты можешь получить ровно то, что тебе нужно. Ты копируешь, воссоздаёшь уже существующее, потому приходится подбирать соответствующую одежду, футболки, штаны, рубашки, цвет кожи, форму лица.»

«Тут не бывает такого: правильно вышло или неправильно? Всё просто: что отснял, то и получил.»

Пост-обработка и Photoshop

PHOTOSCAN Слева вы можете видеть одиночные кадры, а справа - конечный результат. Весьма впечатляющий, надо сказать.

Было бы идеально, если бы программное обеспечение вроде 123D Catch, Reality Capture и PhotoScan моментально выдавало идеальную, готовую окончательную модель, которая сразу готова для применения в проекте. Однако это далеко от истины, говорит Елезович и объясняет процесс пост-обработки:

«На выходе финальная модель имеет около 12 миллионов полигонов. Это 12 миллионов треугольников, которые не могут попасть в игру. Тогда в силу вступает процесс под названием «ретопология». Это означает, что нам нужно получить ту же модель, по форме и очертаниям неотличимую от оригинала, но с гораздо, гораздо меньшим количеством полигонов. Наш стандарт — 20 тысяч полигонов на модель персонажа. Для этого существуют различные инструменты. Некоторые используют Blender, Modo, 3D Coat... Разные программы. Для обработки моделей мы пользуемся Zbrush. В нём можно легко открыть модель и внести кучу изменений. Точно также мы используем Photoshop или альтернативные программы для редактирования текстур. Как правило, они используются для исправления огрехов изображения, изменения оттенков или освещения в зависимости от, например, цвета солнца или неба при съёмке. Всё это можно исправить в Photoshop.»

КАМЕРА, СВЕТ, МОТОР!

КАРУСЕЛЬ

Такую карусель для вращения предмета или человека ребята изготовили сами, поскольку её нигде нельзя купить. Тем не менее, вы можете загуглить в интернете множество примеров создания карусели своими руками. В дополнение к деревянным планкам для создания платформы карусели [англ. turntable], также потребуются и дополнительные детали, поясняет Елезович: «Понадобится моторчик от электропечи, велосипедная камера и редуктор. В общем-то, весь поворотный стол держится на редукторе, мотор печки работает на малую передачу, т.е. вращает нижний вал при помощи звездочки и вырезки из камеры. Вращение постоянное и медленное, благодаря чему достигается плавность, исключаются скачки и шаткость конструкции».

Система состоит из камер фирмы Canon, поскольку только этот производитель отвечает требованиям фотограмметрии. Разработчики начали с модели HOOD, затем перешли на 1200D, а теперь работают с моделью 600D. Снимки делаются в формате .jpg с наивысшими настройками качества. Систему планируют пополнить ещё четырьмя камерами.
 

2 СТУДИЙНЫЕ ВСПЫШКИ

Вспышки из относительно низкой ценовой категории, но зато отличаются высокой скоростью. Елезович отмечает, что время перезарядки вспышки должно быть менее одной секунды.

УПРАВЛЕНИЕ СЪЁМКОЙ

Устройство, управляющее диафрагмой камеры и яркостью вспышки. Без автоматической синхронизации съёмки и вспышки процесс занял бы гораздо больше времени, а результаты были бы не такого высокого качества. Прибор кротимовцы собрали сами. Ален Ладавац, CTO компании, собрал техническую плату, а CCO Давор Хунски спаял цепь проводов. Программа для управления устройством написана на скриптовом языке LUA.

ФОТО ФИНИШ Отсканированные объекты впоследствии дорабатывают в Zbrush, Blender, Photoshop и других полезных программах

Стоит добавить, что Croteam написали собственную программу, чтобы убирать задний фон позади отсканированного объекта, что существенно ускоряет производственный процесс.

Man Vs. Machine

Программное обеспечение, необходимое для фотограмметрии, работает на компьютерах под управлением 64-битной Windows с процессором i7 и 32 Гб. оперативной памяти. Кроме того, необходимо иметь вместительный жесткий диск, поскольку размер каждого отсканированного объекта занимает около 8-10 Гб.

CROTEAM Разработчикам предстоит ещё месяц-два трудоёмкой работы с фотограмметрией, прежде чем результат можно будет окончательно добавить в игру. Из-за такого количества работы не может быть и речи о найме аутсорсеров или покупке программных инструментов. В Хорватии ещё нет интереса к подобным вещам, утверждает Елезович, несмотря на то, что они открыты к сотрудничеству со всеми игровыми разработчиками, которым нужна помощь

Разумеется, всё оборудование и программное обеспечение имеет довольно высокую стоимость, но это по-прежнему не сопоставимо с затратами на поиск и приём на работу настоящих аниматоров, говорит Елезович:

«Все очень просто. Начнём с того, что в Хорватии просто нет людей, которые этим занимаются. Нам требуются профессионалы своего дела. С другой стороны, игры двигаются в направлении гиперреализма, и необходимое компьютерное оборудование, способное быстро запускать такое ПО, стоит куда меньше месячной зарплаты одного человека. В итоге, такое единичное месячное вложение куда выгоднее в долгосрочной перспективе в будущем.

Сейчас у нас есть уже шесть компьютеров, которые могут параллельно заниматься сканированием и обработкой данных. Это значит, что в обычной ситуации нам пришлось бы нанять шесть отличных профессионалов на постоянную парную работу. Это слишком большие денежные затраты. Если вдруг какую-то игру или идею придётся отменить после долгой работы, из-за этого не придётся нести напрасных убытков. Конечно, в играх есть всякие чудовища, которых мы вряд ли сможем отсканировать в реальной жизни, но зато мы можем запросто смоделировать человеческих персонажей или оружие, автомобили, некие мелкие предметы и так далее... Это факт.»

Источник: журнал VIDI, выпуск 239 от января 2016 г.

Перевод на русский: getserious.ru