Дешевый MoCap с помощью AI

09.12.2021 11:00
Алексей Евглевский

Анимация — одна из самых затратных частей любого 3D-проекта. Создавать ее с нуля руками  — долго и нецелесообразно, а использовать Motion Capture — тоже не самое дешевое удовольствие. Что же тогда делать? Искать недорогие паки на распродажах? Есть и другой вариант — запись движений при помощи камеры. Сейчас активно развиваются стартапы, которые, используя искусственный интеллект, превращают видео в полноценную 3D-сцену. У них разные возможности и ценовой диапазон, но некоторые из них доступны даже небольшой инди-студии. Мы вкратце расскажем о каждом из проектов. 

Move.ai

Начнем с самого перспективного, но крайне сырого решения. Платформа Move.ai извлекает информацию с нескольких камер GoPro, расставленных по периметру сцены. Как утверждают создатели, восемь камер способны извлечь данные о перемещении людей и превратить их в движения виртуальных скелетов. Более того, система отслеживает предмет, с которым люди взаимодействуют, и превращает его в интерактивный объект. Все это без каких-либо датчиков. Звучит фантастично, да? Так и есть, потому что пока проект находится на стадии тестирования. Сейчас можно лишь забронировать демо, но вполне вероятно, что в скором времени авторы введут оплачиваемые тарифы. 

Они планируют вести бизнес максимально просто: клиент загружает данные в облако, а система берет их, чтобы передать анимацию на зариганного персонажа. Таким образом, в идеале, вы получите почти готовую анимацию, которую сразу можно отправлять в движок. В реальности ее, конечно, придется доводить, но правок должно быть минимальное количество, потому что, как заверяют авторы, система отслеживает даже пальцы. Громкое заявление, и пока в него верится с трудом. Тем более что на вышедших демо результата не видно, но посмотрим, что будет, когда проект выпустят.  

DeepMotion

Сервис DeepMotion, наверно, самый популярный на рынке. Отчасти из-за соотношения цена-качество. В месяц вам бесплатно доступно 30 секунд записи. Дальше все зависит от потребностей. Разброс идет от 25 долларов за три минуты анимации в месяц до 300 долларов за два часа. При этом растет и интервал одной сессии: с десяти секунд до двух минут. Если решитесь на годовую подписку, то цена за месяц упадет до девяти и ста долларов соответственно.

Надо учитывать, что у сервиса есть ограничения. Желательно, чтобы человек, с которого идет запись, стоял примерно в четырех метрах от камеры, носил обтягивающую или хотя бы не просторную одежду и ничем не был перекрыт. Вдобавок лучше всего если он будет максимально отделен от фона — так программе проще считать его движения. Если все условия соблюдены, DeepMotion быстро демонстрирует результат. О нем стоит рассказать отдельно. 

Перед заливкой сервис дает выбрать, на какой скелет будет перекладываться анимация: стандартный или уникальный. Но вне зависимости от этого на выходе все равно получится достаточно рваная анимация. У нее два основных недостатка. Первый - движения костей часто скачут, как будто в треке не хватает ключей. Второй — двухмерность анимации. Ощущение, будто ИИ плохо просчитывает карту глубины, и под углом видно, что нога или рука не уходит так глубоко в перспективе, как должна. В любом случае времени на чистку уйдет прилично. 

RADiCAL

Другая, аналогичная DeepMotion платформа. Схожие требования к входящему видео и актеру в нем. Такая же возможность выкачать по итогу fbx-файл. Разница в цене и качестве анимации. 

Начальный тариф предлагает три минуты анимации в месяц за 24 доллара. Самый дорогой — два часа анимации в месяц за 234 доллара. Если вы оформляете сразу годовую подписку, то ваши месячные расходы снизятся в три раза. Однако за год вы заплатите 96 и 936 долларов соответственно. 

Теперь разберем качество. Оно сильно отличается от DeepMotion, но не в лучшую или худшую сторону. Оно просто другое. Во-первых, система RADiCAL точнее определяет глубину анимации. Поэтому не придется сильно волноваться о положении суставов. Во-вторых, в самой анимации нет рваных движений. Однако есть другой недостаток — чрезмерная плавность перемещения. Если вы захотите записать динамичную драку, то в результате получите постановку медлительных мимов. Динамику и импакты, к сожалению, придется выставлять вручную. При схожем с DeepMotion ценовом диапазоне стоит выбирать, что вам удобнее. 

Rush Motion


На случай если у вас совсем нет денег, есть Rush Motion. Это бесплатное приложение для записи анимации со смартфона (правда, сейчас оно доступно только в appStore). В базовом тарифе предоставляют лишь 20 секунд. После записи в телефоне моментально появляется файл формата bvh, который вы можете экспортировать любым удобным вам способом. Если промежуток в 20 секунд кажется недостаточным, покупайте месячную подписку за 70 рублей, или годовую за 700. Не так уж дорого за возможность писать длинные анимации. 

Однако есть подводные камни, куда уж без них. Анимация на выходе очень плохого качества. При импорте в Blender еще и ротейшн поясницы смещается на 90 градусов. Поэтому перед точечной доводкой придется убедиться, что все кости стоят на своих местах правильно. О подчеркнутой резкости движений или о сгибании пальцев и речи не идет. Этот вариант подойдет, только если вам нужна база для ручных анимаций. В таком случае вы сэкономите деньги, но потратите много времени на полишинг.