INFO new logo

深度解析:具身智能机器人多模态动作捕捉的集成与应用

导语
具身智能机器人的开发需要高精度行为数据的支撑,人因设备能够实时捕捉人与机器人在复杂环境中的动作、感知和交互数据。本文将深入探讨具身机器人多模态动作捕捉技术的集成与应用,为具身智能机器人的开发提供支持。
01
具身智能与人形机器人
具身智能指的是依靠物理实体通过与环境交互来实现智能增长的智能系统。具身智能从字面可理解为“具身化的人工智能”。“具身”是前提,即具有身体且能通过交互、感知、行动等能力来执行任务,具身本体的形态不必限制在外观上的“人形”,同时身体的形态也不能作为判断是否属于“具身智能”的依据。根据使用用途和场景的不同,具身智能可以有多种形态。例如,通用智能机器人,大型的工业设备加上AI系统,自动驾驶等多种具象化形态都属于具身智“智能”是核心,GPT-4o、Sora等AI技术的最新进展,实现了对文本、视觉、语音等多模态信息的理解和转换。将这些AI技术嵌入到物理实体如机器人上,可显著提升对环境的感知、交互和任务执行能力。

图1 具身智能、智能机器人、人形机器人关系示意图

具身智能人形机器人更强调在环境中交互能力,智能表现在物理实体能以“第一人称”主动进行感知、理解、推理、规划到移动和操作等任务。具身智能认为智能的产生是脑、身体与环境三者协同作用的结果。具身智能具备自主感知、认知、理解、 推理、行动等类人或高于人类的能力,具备由“大脑”“小脑”“脑干”组成的完整人脑结构以及可实现行动的机器身体。[1]

图2 具身智能内涵及应用

因此,具身智能机器人不再是简单的机械执行者,而是具备复杂决策能力的智能系统。它们能够像人类一样理解环境,作出反应。为了快速获取运动和认知技能,利用人类数据进行学习是训练人形机器人的重要方式,这种方式能够显著提升其在复杂环境中的适应性和自主性。
02
运动数据
人类数据的利用提供了丰富的运动和操作范例,但将其应用于机器人时存在形态差异和周围环境的差异。未来的研究需要开发更好的方法来缩小人类数据与机器人数据之间的差距。因此,动作捕捉技术作为实现具身智能的关键技术之一,专门用于获取人体全身的运动信息。其主要功能是将人体的运动数据转化成计算机能够处理的形式,从而实现对机器人或其他智能体的精确控制。动作捕捉技术的应用,使得智能体能够复制人体的完整运动,实现更加自然和灵活的控制。
1
动作捕捉
机器人技能学习高度依赖于大量高质量的数据,尤其是对于全身运动和操作任务而言。然而,数据稀缺性是当前机器人技能学习面临的一个主要瓶颈,它显著限制了算法的泛化能力和适应性。因此,数据规模与质量已成为提高机器人技能学习效果的关键所在。动作捕捉技术能直接将人类动作迁移至人形机器人,具备精度高、数据采集全面等优势,或是当下人形机器人较为合适的数据采集方式。动作捕捉系统主要分为为光学式、惯性式。
01
Qualisys
光学动作捕捉

光学式基于光学摄像头完成物体的捕捉和定位,通过多个高速摄像机从不同角度对目标特征点进行监视和跟踪,结合骨骼解算算法来完成动作捕捉。在机器人的位置定位算法验证方面,光学动作捕捉具有较高的精度,能够提供绝对位置信息,且不易出现位置漂移,采用光学动作捕捉较为合适。光学式动捕能精确测量人或物体在空间中的六自由度运动数据,包含运动轨迹、空间三维坐标、姿态角度等,能够整合同步三维测力台和肌电设备数据,进行全面的运动生物力学数据采集和分析。

运动模仿
基于标记点的光学动作捕捉系统已用于各种机器人研发领域。一个被广泛探讨的关键应用是人体运动模仿。运动数据采集使人形机器人能够执行像人一样的运动序列,如走路、转身和跳舞等。

应用案例

1
基于动作捕捉数据的人形机器人模仿人类运动自适应算法
法国普瓦提埃大学使用运动捕捉数据的模仿人类步态的人形机器人的轨迹生成。一旦人类的动作被记录下来,这个动作就会被修正以适应机器人的形态。所提出的方法可用于不同尺寸和质量的人形机器人,快速生成模仿人体运动的类人行走轨迹,同时兼顾到机器人的平衡和地面接触。本案例中使用了光学动作捕捉用marker标记点坐标计算人体关节角度,并直接应用到机器人运动学模型中,并进行了关节角度计算以及足部接触事件计算。[2]

图3 标记点在动捕系统中的三维空间位置数据

2
行走人体轨迹模型及其在人形机器人运动中的应用
法国图卢兹大学为人形机器人TALOS生成类人运动轨迹来探讨人机交互的应用。运动捕捉用于将计算的机器人轨迹与先前记录的人类行走轨迹进行比较,并评估哪种行走模式生成模型更真实。为了流畅地与人类合作完成复杂的任务,如搬运桌子,人形机器人必须识别并适应人类的动作。为了实现这一目标,机器人需模拟人类运动的现实模型。本文的重点是使一个人形机器人遵循一个类似人的运动路径,主要提出了两种人体行走模型,通过计算身体质心的平均轨迹,可以推导出二维平面上的路径。然后将两种模型生成的速度通过步行模式生成器驱动真正的TALOS机器人。为了确定这些模型中哪一个对人形机器人来说是最真实的,使用光学动作捕捉采集人体质心及机器人运动轨迹数据,来测量人类的行走路径,并将它们与计算的轨迹进行比较。[3]

图4 TALOS机器人COM运动轨迹(绿色)遵循模拟轨迹(红色)向桌子运动

状态评估(浮基估算)

由于机器人在运动阶段的不稳定性与双或单地面接触。平衡高度依赖于所采用的控制方法和浮基状态评估的精度。后者通常使用机载传感器来实现,这些传感器会受到漂移和噪声的影响。相比之下,外部跟踪方法提供了机器人状态的全局稳定估计,不受惯性传感器漂移和运动学建模误差(如腿部灵活性)的影响。因此,运动捕捉系统的另一个重要应用是移动机器人的状态估计。通常,动作捕捉被用作精确的地面基点,以确定人形机器人的浮动基座的位置和方向。

应用案例

1
运动捕捉状态反馈用于人形机器人实时控制的实验研究
德国不来梅大学与德国人工智能研究中心(DFKI GmbH)机器人创新中心提出了一项实验研究,采用高频光学运动捕捉系统来实现人形机器人RH5的在线稳定控制,以实现稳定的深蹲、单腿平衡等腿部运动。在本研究中使用动作捕捉系统来跟踪机器人{IMU}帧,如图所示。通过这种方法,可以到的机器人浮动基座的姿态,并与基于IMU数据的状态估计方法进行了直接比较。[4]

图5 用于机器人浮基跟踪的坐标帧为摄像机世界坐标帧{C}、机器人世界坐标帧{R}、机器人基础帧{B}和机器人{IMU}帧。

2
人形机器人拉消防水管的运动生成
日本大阪大学和法国图卢兹大学的研究者讨论了一种人形机器人在向指定位置和方向行走时拉动消防水带的策略。在机器人的手腕上安装一个混合控制器,手持消防水带进行牵引。该控制器可以根据机器人的行走速度自动确定拉力。仿真分析表明,机器人在拉动消防水带行走时,由于水带的外力影响会产生行走方向的漂移。为了处理这种漂移并将机器人引导到期望的位置和方向,使用动作捕捉系统采集机器人的胸部位置和方向,并馈送到机器人的行走模式生成器,以纠正方向漂移,并确定在哪里行走以及何时停止行走。实验结果验证了该策略的有效性,所提出的混合控制器有助于提高机器人行走时的平衡性。在整个反馈回路中,使用光学运动捕捉系统给出的机器人胸部位置来计算行走模式生成器的参考速度Vref,阻抗控制器也使用Vref来计算要施加的拉力。[5]

图6 实验中机器人的胸部轨迹( X方向位置,Y方向位置和偏航角)

02
Xsens
惯性动作捕捉
惯性式则利用惯性传感器测量物体的三维运动学数据,如角度,速度,加速度,关节角度、重心位置等,对于人形机器人在运动过程中涉及检测平衡、跌倒、抗扰需求,采用惯性动作捕捉更为合适。
遥操作动作重定向
人形机器人遥操作动作重定向技术的基本思想是利用动作捕捉技术将人类运动的动作捕捉到,并且将捕捉的数据转化成机器人可以识别的运动信息。然后,将这些运动信息发送到机器人,机器人就可以按照人类运动的动作来进行运动控制。

应用案例

1
基于动作捕捉的人形机器人遥操作动作重定向技术
西北工业大学与中国运载火箭技术研究院总体设计部针对人形机器人开发了一种机器人遥操作方法,利用基于误差最优化的动作重定向技术将人体动作捕捉数据映射到人形机器人模仿人体动作完成遥操作任务,同时能够在遥操作过程在质心调节和三点支撑法自动切换保持平衡。该方法已经在人形机器人NAO进行验证,成功的遥操作 NAO机器人应用于书法书写。[6]

图7 系统概述示意图

2
训练人形机器人模仿人类动作
人形机器人(上海)有限公司使用惯性动作捕捉和人工智能来训练人形机器人,模仿人类动作并执行复杂任务。其工作原理是:一个开发人员重复执行任务,而他的每一个动作细节都会被动作捕捉技术仔细捕捉。在远程操作过程中,机器人会在开发员的旁边执行相同的操作,通过记录的动作数据学习如何移动,并利用AI进行深度学习,为未来的运动提供所有可能的选择。通过分析人类运动数据,可以训练这些机器人提高其灵活性和协调性,使其为现实世界的应用做好更充分的准备。 动捕技术通过实时捕捉和复制人类的动作,通过远程操作和人形跟随,对机器人进行准确的训练。

图8 人形机器人精确模仿人类的动作

人机协同
人机协同指的是人与机器之间的合作与互动,共同完成任务。惯性动捕技术在机器人人机协同中发挥着重要作用,它通过在人体或物体上安装惯性传感器,实时捕捉运动数据并传递给机器人。机器人利用这些数据能够精准地感知和理解人类的动作意图,从而做出相应的响应。在人机协同中,人和机器分工合作,相互补充,实现优势互补,提高工作效率和任务质量。

应用案例

1
为安全的人机交互开发自适应协作界面
人机界面与交互实验室的研究员正在开发一种框架,使机器人能够协助运输物体。他们的框架被称为自适应协作界面(ACI),利用触觉反馈和动作捕捉数据,使机器人能够调整速度和位置,从而更好地与人类协同工作。 在工作中,他们主要依靠Xsens动捕来收集精确的动作数据,从而为机器人提供指导。

图9 机器人的实时调整和安全无缝的互动

复杂手部操作
惯性动捕数据手套能够精准捕捉手部运动相关的多种数据,如手指弯曲程度、指尖按压力、关节角度等。在具身智能的训练中,数据手套可用于生产高质量的训练数据集,将人类的真实动作实时映射到机器人或虚拟模型上,帮助具身智能体学习和模仿复杂的手部操作。

应用案例

1
特斯拉Optimus机器人AI数据训练
特斯拉Optimus机器人研究团队就使用Manus Quantum Meta Glove采集了大量人类手部操作数据,包括工具使用、物体抓取等复杂动作,训练机器人的模仿学习算法,以实现更加自然的手部交互动作。通过Manus数据手套捕捉到的真实手部动作数据,特斯拉能够优化其机器学习算法,使Optimus机器人能够更准确地模仿人类动作,减少人为错误,提高工作效率。

图10 特斯拉Optimus机器人研究团队使用Xsens系统采集了大量人类手部操作数据

2
三维测力台
三维测力台能够精准捕捉人体与地面相互作用的力学数据,如地面反作用力、压力中心和力矩等。这些数据可用于步态分析、平衡能力评估以及运动模式识别,帮助具身智能系统更好地理解人体运动状态。此外,测力台还可结合虚拟现实等技术,为具身智能训练提供沉浸式环境,增强训练效果。特别是在双足机器人的运动控制与平衡优化中,三维测力台的应用至关重要。它不仅能够精确测量机器人与地面的相互作用力,还能为控制算法的开发和优化提供关键数据支持,从而显著提升机器人的稳定性和安全性。

图11 Kistler三维测力台

三维测力台的优势
精确测量与反馈:三维测力台可以实时测量双足机器人在行走、奔跑或跳跃等动态过程中足底所受的地面反作用力。这些力的精确数据对于实时反馈控制算法至关重要,能够帮助机器人根据地面条件动态调整步态和重心。
平衡分析与优化:通过测力台测量的数据,研究人员可以对双足机器人的平衡性能进行深入分析。例如,利用测力台的数据可以计算机器人的质心位置和姿态偏差,进而优化控制算法,确保机器人在不同地形上保持稳定。
抗干扰性提升:在复杂环境中,双足机器人可能会受到外界干扰,如不平整的地面或突发的外力。测力台能够帮助研究人员评估机器人在这些情况下的抗干扰能力,并通过优化控制策略来增强其适应性。

应用案例

1
德国耶拿大学运动实验室和瑞士苏黎世大学人工智能实验室在柔顺腿的类人双足机器人设计研究中就应用了测力台。在机器人行走的10步过程中,他们通过光学运动捕捉系统和测力板记录了更详细的运动学和地面反作用力数据。然后,这些数据以地面反作用力为基准进行对齐,以分析支撑相期间的行为。[7]

图12 两足机器人单步行走时的(a)腿轨迹。(b)身体偏移,膝关节和踝关节的角度轨迹以及机器人在几个腿部步态中的地面反作用力。(c)实验过程中由高速摄像机记录的时间序列照片。

此外,三维测力台还可用于评估机器人的承载能力、疲劳寿命等性能指标,为机器人设计和改进提供有力支持。
3
测力跑台
为了让机器人能够实验室环境下完成行走或者跑步等测试,具备类似人类的运动能力和适应性。测力跑台作为一种先进的运动测试与训练设备,可以模拟多种行走与任务环境,帮助机器人训练的运动能力和性能测试,在人形机器人开发过程中发挥着重要的作用。测力跑台搭配体重支持系统和防跌倒装置,能够在机器人跌倒时有效保护机器人和实验人员,保证实验与训练的安全性。同时,体重支撑系统还可以调控机器人自重比例,测试机器人的自适应能力。

图13 h/p/cosmos运动测试跑台

测力跑台的优势
运动性能测试:人形机器人的行走步态是其运动能力的核心体现。测力跑台集成的三维力测试功能,能够精准解析机器人步态或者跑步过程中的三维地面反作用力。机器人在跑台上行走时。跑台下方还可以加装的电容式压力分布传感器矩阵,对机器人足底压力分布参数进行精准采集,通过这些数据,开发人员可以精确了解机器人在不同行走或跑步阶段的受力情况,从而优化其步态算法,使机器人行走更加平稳、自然。

图14 h/p/cosmos运动测试跑台三维力测试与压力分布测试功能

设计随机扰动测试:人形机器人在实际应用中可能会面临各种突发情况,如滑倒、绊倒等。当前的人形机器人抗扰动测试主要通过人为外力冲击来测试,而测力跑台具备随机扰动测试功能,能够为机器人提供逼真的接触面扰动场景模拟。通过自定义扰动功能,跑台可以突然加速或减速,开发人员可以通过观察机器人在这些突发情况下的自适应反应,评估其运动控制算法的有效性和安全防护装置的可靠性,并据此进行优化改进。
速度与坡度调节:测力跑台的可调节坡度功能和跑带反转功能,可轻松模拟上下坡路况,此外,具备速度和加速度精准调控功能,最大速度可达40KM/h(需按需求定制)以及多级加速度调节模式,可以完成从静止状态在极慢的131秒或极快的3秒内达到峰值速度,人形机器人通过在跑台上进行这种性能测试,开发人员可以获取机器人在不同倾斜角度和速度下的关键部件性能测试和平衡控制测试。我们的跑台最大承重可达200kg,选装后可达300kg,能够满足大多数中型人形机器人的测试需求。

图15 h/p/cosmos运动测试跑台可调节坡度功能

适应各种操作环境:测力跑台适应各种操作环境,可以在高温、低温、高湿度、高气压、高海拔等环境或模拟仓内使用。这对于人形机器人开发来说具有重要意义,因为机器人未来可能需要在各种极端环境下工作。通过在这些模拟环境下进行跑台测试,开发人员可以评估机器人在不同环境条件下的运动性能,如关节润滑情况、电子元件的稳定性等,并据此进行针对性的优化设计。
03
生物信号多模态采集
多模态数据的整合是实现更广泛和适应性的机器人技能的关键。未来的研究应关注整合多种传感器数据,以帮助机器人更好地理解和适应复杂的环境和任务。生物信号多模态采集包括脑电采集设备、高密度肌电采集设备、数据手套、多通道生理采集仪、眼动仪等等。主要采集人类感知-认知-操作时关键生物信号,如眼动数据、脑电信号、电生理信号等和动力学参数等。
1
脑机接口(BCI)
脑机接口技术是一种变革性的人机交互技术。其作用机制是绕过外周神经和肌肉,直接在大脑与外部设备之间建立全新的通信与控制通道。它通过捕捉大脑信号并将其转换为电信号,实现信息的传输和控制。脑机接口通过对机器人实现更自然直观的控制,能够显著增强机器人的性能和适用性。
01
TMSi / Neuroelectrics / BEL
脑电(EEG)

在具身智能的发展中,脑电技术不仅能够提供更自然的人机交互方式,还能为具身智能系统提供丰富的生物信号数据,进一步提升其感知和决策能力。例如,在医疗康复领域,脑电技术被用于增强运动想象训练,帮助中风患者恢复运动功能。脑电技术还被应用于控制智能假肢和仿生手,使残障人士能够通过意念控制假肢完成复杂动作。通过脑机接口(BCI)技术,脑电信号(EEG)可以被采集并转化为控制指令,从而实现人脑与具身智能设备之间的直接交互。

应用案例

1
意大利米兰理工大学和瑞士达勒莫勒人工智能研究所的研究者将污染脑电图(EEG)信号的眼部伪影视为一种有价值的信息来源,通过检测脑电图信号中的眼睑伪影,以及眨眼的双阈值方法,成功实现了通过脑机接口控制机器人的目标。该技术的应用对改善残障人士的生活具有重要意义。[8]

图16 BCI系统验证实验中的一些视频帧

2
荷兰奈梅亨拉德堡德大学和圣马丁诊所的研究者通过解码脑电图(EEG)信号中的感觉运动节律,探索了在机器人辅助跑步机行走过程中实现脑机接口(BCI)控制的可行性。研究涉及10名健康志愿者和3名轻度下肢运动障碍的中风患者,旨在通过EEG信号解码行走意图,以实现对机器人辅助行走设备的控制。[9]

图17 实验设计和典型相关分析示例

01
Artinis
近红外脑成像
功能近红外光谱是一种无创、便携、多功能的脑成像技术,作为一种相对较新的脑生理信号,功能性近红外光谱成像(fNIRS)在脑机接口领域,尤其是在运动想象任务中,正被越来越多地使用。fNIRS通过在近红外波段内使用两种或以上的光波长来探测脑部组织,分析氧合血红蛋白和去氧血红蛋白浓度的相对变化,进而揭示神经活动。不仅如此,已有不少研究证明,fNIRS-EEG混合BCI的性能优于单独的fNIRS或EEG系统,混合BCI能获得更好的性能与其可以实现不同模态技术的优势互补密切相关。

应用案例

1
意大利拉奎拉大学和帕多瓦大学的研究者设计了五种手部运动想象任务,每种任务设有四个难度等级。研究的核心目标是利用功能性近红外光谱成像(fNIRS)技术,从大脑运动区及其他相关脑区获取信号,以对手部运动想象任务中不同等级进行分类。结果发现,通过选择合适的特征和分类方法,可以显著提高分类精度,该研究为未来利用BCI技术进行手部康复机器人控制提供了坚实的基础。[10]

图18 识别手部运动想象实验设计图

2
多模态数据
01
TMSi / Cometa
肌电(EMG)
作为与人体运动密切相关的生理信号,表面肌电信号在人机交互中起着重要的作用,由于其在运动意图识别中具有良好的准确性和鲁棒性(反应控制系统抗干扰能力的参数),肌电技术(EMG)能够实现对具身智能设备的精准控制和交互。通过表面肌电信号,可以实现对康复机器人、智能假肢等设备的自然、直观控制,极大地提高了人机交互的效率和用户体验。

应用案例

1
程天科技的具身智能外骨骼机器人也通过集成肌电等多模态生物信号融合算法,精准捕捉患者的生理状态,实时分析其运动意图,从而实现精准的运动辅助和康复指导。例如,在脑卒中患者的步态训练中,该外骨骼机器人的意图识别准确率达到了98.7%,显著提升了康复效率。

图19 程天科技的具身智能外骨骼机器人

02
Gazetech / Smart Eye / Ergoneers
眼动追踪
眼动追踪技术能够为具身智能系统提供关键的视觉注意力数据,从而实现更自然、高效的人机交互。在具身智能训练中,眼动追踪可以采集人眼行为数据,为机器人提供“类人感知”训练样本,加速具身智能技术的落地。

应用案例

1
华中科技大学开发了一种眼控脑损伤康复机器人,其核心是人眼瞳孔跟踪与三维视轴实时推算技术。基于此技术,研究人员成功研制出一款便携式的头戴式眼动仪。该眼动仪能够实时动态解析人眼的三维凝视点信息,通过精准解析人眼凝视点,实现了人机在三维实时环境中的自然交互。作为一种高效的人机交互手段,它被成功应用于运动意图主导的脑损伤康复机器人中。目前,华中科技大学集成眼动交互装备的脑损伤康复机器人已在同济医院开展临床康复应用。与国际上最先进的康复装备疗效相比,华中科技大学的独创技术使脑损伤患者的运动功能提升了48.8%,认知功能提升了49%。

图20 华中科技大学眼控脑损伤康复机器人

03
PhysioLAB
多通道生理信号
多通道生理信号采集仪可以对人类感知-认知-操作时关键生物信号做采集与补充。研究者可以通过分析生理信号来优化具身智能系统的响应策略,提升人机协作的效率和自然性。一款无线人体生理数据记录系统可以记录几乎所有的人体生理相关的数据,包括ECG 心电、EEG脑电、EMG肌电、GSR(EDA)皮电、BVP 血容量&脉搏、Temp温度、Resp呼吸、ACC加速度、眼电EOG、EGG胃电、血压BPR、Goniometer (GON)关节角度、Handgrip 抓握力等传感器。

图21 多通道生理信号采集仪PhysioLAB

04
虚拟训练场搭建
在现实世界中,机器人若要见识万千、提升能力,搭建众多真实场地无疑耗时费力且成本高昂。而虚拟训练场的出现,为机器人训练带来了变革。仿真平台借助高性能计算技术、海量的3D数据资产、真实感绘制引擎和智能化空间编辑工具,模仿真实世界物理特性和空间关系,构建高度逼真的虚拟物理世界和合成环境,为智能机器人等具身智能载体提供数据采集与训练,进而提升现实认知交互能力。相较于在真实世界中操控机器人采集数据,在虚拟环境中采集数据成本更低、效率更高、安全性更高。
虚拟现实仿真
虚拟现实系统是创建和体验虚拟世界的计算机仿真系统,它利用现实生活中的数据,通过计算机技术产生的电子信号,与各种输出设备结合使其转化为能够感知到现象,这些现象可以是现实中真真切切的物体,也可以是我们肉眼所看不到的物质。仿真系统可模拟各种复杂场景和机器人的行为模式,包括但不限于户外作业、社交互动、家庭生活、工业生产、商业交易等,从而为具身智能体提供了具有社会属性的虚拟社会。系统包含海量高质量可交互场景数据,并可生成多样化、难度适中的具身智能任务,建立相应的评测体系,赋能具身智能大模型研发。

图22 用worldviz虚拟现实系统打造虚拟场景

目前,已有多家人形机器人企业应用虚拟训练场,以提升机器人的性能和应用能力。例如,全国首个异构人形机器人训练场已在上海启用,可支持超过100台不同品牌、不同架构的人形机器人同时进行复杂场景训练。该训练场由国地中心牵头建设,首期已部署超过100台异构人形机器人。
05
统一数据采集及数据库
最后,需要将所采集到的大部分数据实现在一个采集平台中同步,设计定制化数据集,采集到的数据进入数据库存储系统,进而建立一个数据库。统一数据采集平台是一个综合的人机交互多模态数据采集分析研究系统,研究分析人机交互的机理,将其应用于机器人,同时客观评估机器人的协作能力。

图23 Human Research Tool (HRT) 多模态行为同步研究平台

统一数据采集平台
通过对HRT平台收集到的海量数据进行深度分析,精准洞察机器人在复杂环境中的感知、决策与执行表现。一款成熟的统一数据采集平台不但能够在数据采集方面为研究人员解决数据同步性的问题,而且能够在同一个软件中完成所有实验研究任务,支持用户在一个平台同步采集、同步回放、同步统计分析各个模块的全部数据,实时同步采集、呈现、同步分析人-机-环多模态数据,从而实现特定实验环境下数据的采集分析与实验目标,例如关键生物信号、动力学参数、环境感知数据等。统一数据采集平台还可以将已采集第三方设备的数据,比如实验室已有的一些设备整合在此平台上,让用户在一个软件平台上一站式完成所有的实验研究需求。

同时,平台对这些数据的深度挖掘与分析,从而使研究人员能够精准洞察机器人算法的运行状态,快速定位问题所在,为算法优化提供依据,助力机器人在复杂场景中更好地验证算法性能。

赢富仪器专注于机器人领域,公司凭借强大的研发实力和丰富的行业经验,致力于为用户提供全方位的一站式具身智能数据解决方案,助力用户在人形机器人及相关智能系统领域实现高效、精准的开发与应用。

如需获取相关产品或了解更多信息,欢迎致电4006-111-556详询!

参考文献
[1]具身智能发展报告(2024年),中国信息通信研究院和北京人形机器人创新中心有限公司,集智蓝皮书No.202405[2]L. Boutin, A. Eon, S. Zeghloul and P. Lacouture, “An auto-adaptable algorithm to generate human-like locomotion for different humanoid robots based on motion capture data,” 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems, Taipei, Taiwan, 2010, pp. 1256-1261, doi: 10.1109/IROS.2010.5652230.

[3]Isabelle Maroger, Olivier $tasse, Bruno Watier, Walking Human Trajectory Models and Their Application to Humanoid Robot Locomotion, IEEE/RSJ International Conference on Intelligent Robotsand Systems (IROS), Oct 2020,Las Vegas, United States.10.1109/ROS45743.2020.9341118. hal02922573

[4]Popescu M, Mronga D, Bergonzani I, Kumar S, Kirchner F. Experimental Investigations into Using Motion Capture State Feedback for Real-Time Control of a Humanoid Robot. Sensors (Basel). 2022 Dec 15;22(24):9853. doi: 10.3390/s22249853. PMID: 36560239; PMCID: PMC9783769.

[5]Ixchel G Ramirez-Alpizar, Maximilien Naveau, Christophe Benazeth, Olivier Stasse, Jean-Paul Laumond,et al.. Motion Generation for Pulling a Fire Hose by a Humanoid Robot. 16th IEEE-RASInternational Conference on Humanoid Robotics (HUMANOIDS 2016), Nov 2016,Cancun, Mexico.ha1-01388372

[6]王文杰,秦现生,王鸿博,洪杰,牛军龙,谭小群,张雪峰.基于动作捕捉的人形机器人遥操作动作重定向技术[J].机械设计与研究,2017,33(1):43-49

[7]Fumiya Iida, Yohei Minekawa, Jürgen Rummel, André Seyfarth,Toward a human-like biped robot with compliant legs,Robotics and Autonomous Systems,Volume 57, Issue 2,2009,Pages 139-144,ISSN 0921-8890,https://doi.org/10.1016/j.robot.2007.12.001.

[8]Karas, K., Pozzi, L., Pedrocchi, A. et al. Brain-computer interface for robot control with eye artifacts for assistive applications. Sci Rep 13, 17512 (2023). https://doi.org/10.1038/s41598-023-44645-y

[9]García-Cossio E, Severens M, Nienhuis B, Duysens J, Desain P, Keijsers N, Farquhar J. Decoding Sensorimotor Rhythms during Robotic-Assisted Treadmill Walking for Brain Computer Interface (BCI) Applications. PLoS One. 2015 Dec 16;10(12):e0137910. doi: 10.1371/journal.pone.0137910. Erratum in: PLoS One. 2016 Jun 9;11(6):e0157581. doi: 10.1371/journal.pone.0157581. PMID: 26675472; PMCID: PMC4686050.

[10]Li, C., Yang, H. & Cheng, L. Fugl-Meyer hand motor imagination recognition for brain–computer interfaces using only fNIRS. Complex Intell. Syst. 8, 731–741 (2022). https://doi.org/10.1007/s40747-020-00266-w