图1 具身智能、智能机器人、人形机器人关系示意图
图2 具身智能内涵及应用
光学式基于光学摄像头完成物体的捕捉和定位,通过多个高速摄像机从不同角度对目标特征点进行监视和跟踪,结合骨骼解算算法来完成动作捕捉。在机器人的位置定位算法验证方面,光学动作捕捉具有较高的精度,能够提供绝对位置信息,且不易出现位置漂移,采用光学动作捕捉较为合适。光学式动捕能精确测量人或物体在空间中的六自由度运动数据,包含运动轨迹、空间三维坐标、姿态角度等,能够整合同步三维测力台和肌电设备数据,进行全面的运动生物力学数据采集和分析。
应用案例
图3 标记点在动捕系统中的三维空间位置数据
图4 TALOS机器人COM运动轨迹(绿色)遵循模拟轨迹(红色)向桌子运动
由于机器人在运动阶段的不稳定性与双或单地面接触。平衡高度依赖于所采用的控制方法和浮基状态评估的精度。后者通常使用机载传感器来实现,这些传感器会受到漂移和噪声的影响。相比之下,外部跟踪方法提供了机器人状态的全局稳定估计,不受惯性传感器漂移和运动学建模误差(如腿部灵活性)的影响。因此,运动捕捉系统的另一个重要应用是移动机器人的状态估计。通常,动作捕捉被用作精确的地面基点,以确定人形机器人的浮动基座的位置和方向。
应用案例
图5 用于机器人浮基跟踪的坐标帧为摄像机世界坐标帧{C}、机器人世界坐标帧{R}、机器人基础帧{B}和机器人{IMU}帧。
图6 实验中机器人的胸部轨迹( X方向位置,Y方向位置和偏航角)
应用案例
图7 系统概述示意图
图8 人形机器人精确模仿人类的动作
应用案例
图9 机器人的实时调整和安全无缝的互动
应用案例
图10 特斯拉Optimus机器人研究团队使用Xsens系统采集了大量人类手部操作数据
图11 Kistler三维测力台
应用案例
图12 两足机器人单步行走时的(a)腿轨迹。(b)身体偏移,膝关节和踝关节的角度轨迹以及机器人在几个腿部步态中的地面反作用力。(c)实验过程中由高速摄像机记录的时间序列照片。
图13 h/p/cosmos运动测试跑台
图14 h/p/cosmos运动测试跑台三维力测试与压力分布测试功能
图15 h/p/cosmos运动测试跑台可调节坡度功能
在具身智能的发展中,脑电技术不仅能够提供更自然的人机交互方式,还能为具身智能系统提供丰富的生物信号数据,进一步提升其感知和决策能力。例如,在医疗康复领域,脑电技术被用于增强运动想象训练,帮助中风患者恢复运动功能。脑电技术还被应用于控制智能假肢和仿生手,使残障人士能够通过意念控制假肢完成复杂动作。通过脑机接口(BCI)技术,脑电信号(EEG)可以被采集并转化为控制指令,从而实现人脑与具身智能设备之间的直接交互。
应用案例
图16 BCI系统验证实验中的一些视频帧
图17 实验设计和典型相关分析示例
应用案例
图18 识别手部运动想象实验设计图
应用案例
图19 程天科技的具身智能外骨骼机器人
应用案例
图20 华中科技大学眼控脑损伤康复机器人
图21 多通道生理信号采集仪PhysioLAB
图22 用worldviz虚拟现实系统打造虚拟场景
图23 Human Research Tool (HRT) 多模态行为同步研究平台
同时,平台对这些数据的深度挖掘与分析,从而使研究人员能够精准洞察机器人算法的运行状态,快速定位问题所在,为算法优化提供依据,助力机器人在复杂场景中更好地验证算法性能。
如需获取相关产品或了解更多信息,欢迎致电4006-111-556详询!
[3]Isabelle Maroger, Olivier $tasse, Bruno Watier, Walking Human Trajectory Models and Their Application to Humanoid Robot Locomotion, IEEE/RSJ International Conference on Intelligent Robotsand Systems (IROS), Oct 2020,Las Vegas, United States.10.1109/ROS45743.2020.9341118. hal02922573
[4]Popescu M, Mronga D, Bergonzani I, Kumar S, Kirchner F. Experimental Investigations into Using Motion Capture State Feedback for Real-Time Control of a Humanoid Robot. Sensors (Basel). 2022 Dec 15;22(24):9853. doi: 10.3390/s22249853. PMID: 36560239; PMCID: PMC9783769.
[5]Ixchel G Ramirez-Alpizar, Maximilien Naveau, Christophe Benazeth, Olivier Stasse, Jean-Paul Laumond,et al.. Motion Generation for Pulling a Fire Hose by a Humanoid Robot. 16th IEEE-RASInternational Conference on Humanoid Robotics (HUMANOIDS 2016), Nov 2016,Cancun, Mexico.ha1-01388372
[6]王文杰,秦现生,王鸿博,洪杰,牛军龙,谭小群,张雪峰.基于动作捕捉的人形机器人遥操作动作重定向技术[J].机械设计与研究,2017,33(1):43-49
[7]Fumiya Iida, Yohei Minekawa, Jürgen Rummel, André Seyfarth,Toward a human-like biped robot with compliant legs,Robotics and Autonomous Systems,Volume 57, Issue 2,2009,Pages 139-144,ISSN 0921-8890,https://doi.org/10.1016/j.robot.2007.12.001.
[8]Karas, K., Pozzi, L., Pedrocchi, A. et al. Brain-computer interface for robot control with eye artifacts for assistive applications. Sci Rep 13, 17512 (2023). https://doi.org/10.1038/s41598-023-44645-y
[9]García-Cossio E, Severens M, Nienhuis B, Duysens J, Desain P, Keijsers N, Farquhar J. Decoding Sensorimotor Rhythms during Robotic-Assisted Treadmill Walking for Brain Computer Interface (BCI) Applications. PLoS One. 2015 Dec 16;10(12):e0137910. doi: 10.1371/journal.pone.0137910. Erratum in: PLoS One. 2016 Jun 9;11(6):e0157581. doi: 10.1371/journal.pone.0157581. PMID: 26675472; PMCID: PMC4686050.
[10]Li, C., Yang, H. & Cheng, L. Fugl-Meyer hand motor imagination recognition for brain–computer interfaces using only fNIRS. Complex Intell. Syst. 8, 731–741 (2022). https://doi.org/10.1007/s40747-020-00266-w