Как встроить графику в видео?
Встраивание 3d графики состоит из нескольких важных шагов.
Трекинг видео.
Вам необходимо произвести 3d трекинг видео, в которое вы собираетесь встраивать свою 3d графику. Трекинг делается в специализированном софте, в студиях это чаще всего PFTrack, 3dequalizer или Syntheyes в массовом сегменте часто используется After Effects.
Для качественного трекинга необходимо знание характеристик камеры, на которую оно было снято и наличие большого количества качественных точек для трекинга. В качестве точек для трекинга выбирают или заранее подготовленные маркеры, которые были созданы во время съемки или просто контрастные участки видео. После трекинга вы получите данные о том, как должна двигаться камера в вашем 3d пространстве и само 3d пространство, если это необходимо (например в случае взаимодействия 3d объектов с ним).
Создание 3d графики.
Камера и элементы окружения(пол, стены, важные объекты) из программы для трекинга выгружается в виде fbx или специализированных скриптов и загружается в 3d программу, где будет создаваться 3d графика. Там вы просто создаете нужную графику и рендерите ее в секвенцию, используя загруженную ранее камеру.
Композ.
Далее следует этап композа, вам необходимо совместить отрендеренную секвенцию и видео. На этом этапе производится цветокоррекция и добавление различных деталей, которые присущи съемке, но отсутствуют на вашем рендере, например (шум, хроматические аберрации, искажение диафрагмы и тд.). Наиболее популярные программы для композа: в студиях: Nuke, Fusion, в массовом сегменте: After Effects.
Резюмируя: для встривания 3d графики в видео, вы должны:
- сделать трекинг видео;
- создать 3d графику;
- сделать композ графики в видео.