Команде разработчиков искусственного интеллекта из Facebook удалось создать нейросеть, способную превращать реальных людей в игровых персонажей на основе всего лишь нескольких видео.
Проект получил название Vid2Play.
При этом на самом деле ИИ состоит сразу из двух нейросетей: Pose2Pose и Pose2Frame. Первая занимается определением движений человека на ролике, а также его отделением от фонового изображения.
Затем основная роль переходит к Pose2Frame, которая создаёт виртуальную модель человека, помещает её вместе с соответствующими тенями и предметами, находящимися у них в руках, на новый фон. После этого моделью можно управлять в режиме реального времени, при помощи геймпада или клавиатуры.
Более того, разработчикам удалось создать настолько умный механизм, что нейросеть вполне способна исключать других людей, а также компенсировать различные углы камеры.
Безусловно пока что технология не идеальна, поскольку возникают «подёргивания» такой анимации, а сам объект будто плывёт по экрану. Тем не менее в перспективе она вполне может стать настоящим прорывом для индустрии видеоигр и интерактивного кино.
Подписывайтесь на нас в Telegram