INFO new logo

干货|一文详解三维运动捕捉技术

《阿凡达》、《复仇者联盟》、《指环王》……一大批优秀的动画电影令动作捕捉技术得以被大众了解。

为了捕捉动作,动作捕捉专家在演员身上安装了各种传感器。这些追踪和记录他们的动作,使他们能够在电脑屏幕上被实时映射成一个虚拟的“骨架”。然后动画师使用计算机程序覆盖骨架上的信息,创建一个虚拟的动作事件。

什么是动作捕捉?

动作捕捉(Motion Capture)又称动态捕捉,是指记录并处理人或其它物体动作的技术。它广泛应用于军事、娱乐、体育、医疗、机器人技术等诸多领域,是人体工效学和生物力学相关研究中的重要研究方法。

动作捕捉的历史

动作捕捉技术的源起普遍被认为是费舍尔(Fleischer)在1915年发明的影像描摹(rotoscope)。这是一个通过追踪真人动作片段来制作动画电影的过程。在动画的早期,这是创造逼真的人形角色的首选方法。最著名的是,它被用来创建白雪公主在迪斯尼的白雪公主和七个小矮人,第一个动画戏剧电影。有些电影甚至完全通过影像描摹技术制作动画!

影像描摹(rotoscope)

动作捕捉技术结合了影像描摹技术和新的计算机技术,使得人们不必经过绘制过程就可以使用现场连续镜头作为动画的基础。然而,直到近年动作捕捉才开始在真人电影中有重要的应用。真正的突破是在《魔戒三部曲》通过动作捕捉完全创造了咕噜姆这个角色,彻底改变了人们对这项技术的看法。

《魔戒三部曲》安迪·瑟金斯出演咕噜姆

什么是三维动作捕捉系统?

三维动作捕捉系统是在三维空间中全面记录物体运动的设备,根据原理不同分为机械式运动捕捉、声学式运动捕捉、电磁式运动捕捉、光学式运动捕捉和惯性式运动捕捉。当前市面上主流的三维动作捕捉设备主要是后两种技术。

qualisys运动捕捉摄像头

xsens惯性运动捕捉传感器

惯性三维运动捕捉系统数据采集

光学式运动捕捉

大多基于计算机视觉原理,它又可以分为基于Marker点和非Marker点的动作捕捉。基于Marker点的动作捕捉需要在目标物体的关键位置贴上反光点,俗称Marker点,利用高速红外摄像机捕捉目标物体上反光点的运动轨迹,从而反映目标物体在空间中的运动情况。从理论上说,对于空间中的一个点,只要它能同时为两部相机所见,则根据同一时刻两部相机所拍摄的图像和相机参数,可以确定这一时刻该点在空间中的位置。例如,对于人体进行运动捕捉时,经常需要在人体的各个关节和骨性标志处贴上反光球,通过红外高速摄像机拍摄反光点的运动轨迹,随后进行分析和处理,还原人体在空间的运动。近些年来,随着计算机科学的发展,另一种非Marker点的技术正在迅速发展,该方法主要利用图像识别和分析技术,直接对计算机拍摄的图像进行分析。该技术是受到环境干扰最厉害的一种,光线、背景、遮挡等变量都可能对捕捉效果产生较大的影响,但随着计算机视觉技术的不断发展,相信动作捕捉方法的拍摄精度将不断提高。

光学式运动捕捉Marker点

图像识别技术对人体姿态的自动识别

惯性式运动捕捉

另外一种较为常见的动作捕捉系统是基于惯性传感器(Inertial Measurement Unit, IMU)的动作捕捉,实际上就是将芯片集成封装成小的模块绑定在身体的各个环节,通过芯片记录的人体环节的空间运动,后期通过计算机进行算法分析从而转化为人体的运动数据。由于惯性捕捉主要是在环节点固定惯性传感器(IMU),通过传感器的运动进行计算位置变化,因此惯性捕捉不容易受到外界环境的影响。但是从效果来进行对照的话,惯性捕捉的精度不如光学捕捉的效果。

惯性三维运动捕捉

三维动作捕捉系统的应用?

三维动作捕捉系统广泛应用于虚拟现实、电影制作、人机功效、康复医学、船舶姿态检测等等,未来必定还有更多的可拓展的发展方向。在电影制作和游戏开发领域,它通常是记录人类人体的动作,并将其转换为数字模型的动作,并生成二维或三维的计算机动画。在军事、体育、医疗等领域,它主要用来记录人体在不同运动情况下的动作信息,为军事装备设计、运动技术分析、损伤预防和术后康复等提供科学指导。在工业领域,它也应用于船舶、无人机等姿态追踪,通过反映真实情况下的运动学参数,帮助设计者调整设计方案。

三维运动捕捉应用案例(影视动画)

三维运动捕捉应用案例(水下机器人)

三维运动捕捉数字模型

如何选择三维动作捕捉系统?

一般来说,三维动作捕捉系统的选择主要考虑以下两个方面:

根据捕捉场景

光学式和惯性式动作捕捉适用于不同的动作捕捉场景。光学式动作捕捉设备的捕捉的范围受摄像头数量的限制,易受环境影响。由于需要捕捉场景中的标记点,标记点的遮盖和环境中的反光体(玻璃、镜面)都会干扰摄像头数据的采集。因此,光学式动作捕捉适用于运动范围固定且环境中无噪点的区域。相比光学式动作捕捉系统,惯性式动作捕捉对于大范围的运动更加方面易行,且不受光线、环境等因素的影响,适用于环境复杂且运动区域较大的数据采集。

根据精度需求

现有市面上的光学式动作捕捉的设备已经可以达到毫米级别的精度,而惯性式动作捕捉的精度与光学式目前仍存在差距。通常科学研究中的动作捕捉都会优先选取动作光学式动作设备。同样,电影中的面部表情等的拍摄,通常使用光学捕捉来完成,如果是简单的关节或者动作捕捉,则通常采用惯性捕捉方案。

三维动作捕捉系统介绍

Qualisys

瑞典Qualisys运动捕捉系统可适应潮湿、水下等极端环境条件,在运动科学、生物力学、工业检测等科研领域有较好的应用。

QUALISYS三维运动捕捉系统适应极端环境(水下)

QUALISYS三维运动捕捉系统适应极端气候(雪地)

Xsens

目前惯性动作捕捉成熟度较高是荷兰的一家动作捕捉公司Xsens,他们从20世纪初就开始进行该领域的探索。最近又开发出一款可穿戴惯性传感器开发套装Xsens DOT,集传统惯性传感器以及便携式传感器优点于一体,通过手机app完成数据的采集,不仅可以采集运动中的相邻两个关节的角度和加速度等参数外,还可以对数据采集软件的代码进行查看编辑,以求共同开发发展,价格也比较理想。

Xsens DOT惯性动作捕捉传感器开发套装