INFO new logo

眼动追踪技术在航空航天中的应用:从座舱设计到飞行员状态监测

眼动追踪技术在航空航天中的应用:从座舱设计到飞行员状态监测

导语

眼动测量是解析现代飞机座舱中飞行员工作情境的关键媒介。通过分析眼动数据,可以有效洞察人机交互的实际情况与飞行员的内在心理过程。本文详细阐述了眼动追踪技术在航空航天领域的具体应用与典型案例。

01

飞行中的眼动追踪

眼动追踪是一项在研究视觉认知过程和人机工效学中久经验证的可靠技术。其数据作为一种客观的生理指标,常与绩效指标、主观评价等结合,用于评估界面设计的有效性,并深入揭示飞行员的内在心理与认知状态。

该技术的核心优势在于其极高的时间与空间分辨率,能敏锐捕捉视觉过程的细微变化,从而客观揭示个体的注意分配与视觉模式。具体而言:

  • 平均注视时长注视率,可量化视觉注意的集中度与分配策略;
  • 注视顺序眼动热图,能直观评估界面布局的合理性与有效性;
  • 瞳孔直径的变化,则是评估个体认知负荷的敏感指标。
Smart Eye眼动追踪系统的不同之处在于它是一种先进的遥测式眼动追踪系统,可以同时连接多个摄像头同步捕捉,最多可连接8台摄像头,因此有超大头部运动空间和超大水平视角,可达360度水平视角。由于飞机仪表盘的架构复杂,飞行员在操作仪表盘的过程中需频繁俯仰摆头,Smart Eye眼动追踪系统仍能全程精准锁定眼动轨迹,提供无盲区的实时数据监测。

可达360度水平视角

飞机座舱仪表盘

Smart Eye眼动追踪系统以其高精度数据采集能力著称,可同步输出超过145种头部与眼动数据,为深入研究提供全面维度。这些数据涵盖视线、头部姿态(6DoF)、眼睑运动、瞳孔尺寸等原始与滤波信号,并可自动检测眨眼、凝视、扫视等事件,以及基于兴趣区域(AOI) 的分析。

此外,系统的世界坐标系功能模块能够构建一个与真实实验环境一致的3D数字空间。此功能使研究人员能精确分析视觉注意与3D目标区域(如特定仪表、开关)的交互情况,为座舱布局与空间人因评估提供无可替代的洞察。

3D坐标系功能模块(佩戴头盔面罩进行测试)

02

应用领域

2.1

飞行座舱人因设计

在高度自动化的航空与航天领域,顺畅且安全的人机交互是飞行成功的关键。座舱内信息密度极高,飞行员需在极短时间内完成多源信息的采样与决策,传统主观评价难以还原其毫秒级注意力分配。

眼动追踪技术能连续记录飞行员在真实或模拟任务中的注视点、注视时长、扫视路径、瞳孔直径及眨眼频率,从而提供客观、量化、可重复的行为证据,为飞行仪表的整体布局和显示界面的设计效果提供证据。借助这一技术手段,研究人员可深入解析空间迷向、认知负荷、自动化信任度等人因问题,优化显示界面设计,提升飞行安全与任务效率。

2.2

飞行员监控系统

随着飞机机动性能的不断增强以及人机信息交互水平的不断提升,飞行员的生理和心理负荷大幅度增加,当超过一定限度时就可能引起以脑力下降为主要表现的飞行疲劳,导致飞行操作能力以及信息分析决策能力下降。因此,实时监测飞行中的认知负荷对于避免飞行疲劳的发生具有重要意义。通过分析飞行员的眼球运动、头部姿态、瞳孔测量和眼睑运动,眼动追踪系统有助于发现注意力分散和疲劳,提高飞机的飞行安全性。

 

2.3

飞行员培训

视觉扫描技术对于飞行员培训和飞行安全至关重要。实时眼动追踪技术为飞行员提供了对其注意力、注意力模式和反应时间的洞察——帮助教员发现优势和需要改进的地方。眼动和扫视模式是飞行员心理内部信息处理的表征,在训练环境中,眼动能客观地区分和描述专家和新手的视觉行为差异以及技术熟练程度,而如果用口头报告或者观察的方法是难以做到的。

在现代飞机座舱中,眼动测量是一个获得飞行员工作情境的很有效的客观方法,尤其是随着自动化程度的提高,人机交互以监测任务为主的情况下,通过分析眼动数据就能深入地洞察人机交互情况和飞行员的心理过程。

2.4

眼控交互技术

眼动追踪技术除了用于收集、分析眼动数据外,还可以作为交互系统的一种输入方式。有学者提出了一种视觉增强用户界面设计理念(Gaze-enhanced User Interface Design),将眼动作为人机交互的主要方式,而键盘和鼠标则作为其补充。目前,航空工业设计已经开始尝试将眼动作为输入工具,实现基于用户界面的人机交互。

在一些新式战机的设计当中,研究人员已经开始尝试将眼动技术与战斗机飞行员的头盔显示器进行整合,飞行员可以通过视线,达到跟踪、瞄准、锁定目标,以及控制火控系统进行发射的目的。这种基于眼动的瞄准技术在速度和准确性上具有优势,能够缓解飞行员手部操作压力,从而降低任务负荷,对于战斗力的提升有着重要意义。在军用无人机方面,随着无人机技术的发展,操控员操作需求不断增加。传统键鼠交互模式难以胜任无人机技术迅速发展的需求,无人机的控制正在向多模式操作发展。在这种背景下,眼动追踪技术不仅是无人机多模态交互系统的重要组成部分,也是该系统人因评估子系统的重要模块。

03

应用案例

1

美国航空航天局(NASA)

——导致飞机状态感知丧失条件下的眼动数据分析

美国航空航天局(NASA)兰利研究中心2016年NASA Cockpit Motion Facility(CMF)内开展“自动化与信息管理实验(AIME)”。研究聚焦于航空系统日益复杂化对飞行员情境意识(Airplane State Awareness, ASA)的影响,旨在通过眼动追踪技术客观分析飞行员在复杂飞行情境下的注意力分配。

研究使用了Smart Eye Pro眼动追踪系统,以50Hz频率实时记录飞行员眼部位置与注视方向,识别其所关注的驾驶舱区域(AOI),从而评估其在关键飞行阶段对仪表信息的感知与反应。研究结论指出,飞行员在面对系统故障或突发状况时存在显著的注意力分配差异,部分飞行员未能及时察觉关键飞行模式变化,表现出“视而不见的无意盲视(Inattentional Blindness)”现象,提示需优化信息显示方式以提升飞行员的情境意识与飞行安全。

雷达高度计故障情景飞行中的FMA显示

雷达高度计故障场景飞行中对PFD视觉注意力分布

(左:所有飞行员,所有航班。右:故障后0-30s及模式变化)

在等待航线中。A/T断开时飞行对PFD的视觉注意力分布。

(左:所有飞行员,所有航班。右:故障后0-30s及模式变化)

跑道变更许可后,A/T断开时飞行员对PFD的视觉注意力分布

(左:所有飞行员,所有航班。右:故障后0-30s及模式变化)

2

印度科学学院、国家航空航天实验室

——飞行员认知负荷的估测:基于眼动参数的模拟与实飞研究

印度飞机系统与测试机构、印度科学学院、国家航空航天实验室及科研创新学院共同完全了一箱研究,旨在寻找一种更先进的认知负荷评估方案。由于现代战斗机飞行员需在高负荷环境下执行多项任务,传统主观认知负荷评估方法(如 Cooper-Harper 评分)存在明显局限性。为此,作者提出通过眼动参数实现非侵入式、实时认知负荷估计,分别在固定翼变稳模拟器和真实飞行(BAE Hawk 与 Jaguar 战斗机)中开展两项研究,模拟与实战环境涵盖边界回避追踪、高 G 转弯、对地俯冲等任务。研究使用眼动仪记录瞳孔直径、注视/扫视速率、侵入性扫视等参数,并首次在 +5G 环境中验证其可用性。

结果表明:注视率随任务难度、G 值、下降率及操纵误差显著升高,与飞行员控制负荷高度相关;模拟器中瞳孔直径变化显著,但实飞因光照振动干扰需慎用。该研究证实 COTS 眼动仪可用于高 G 军机实时认知负荷监测,为飞行员训练、告警及人机界面设计提供了客观量化手段。

不同条件下的眼动参数

3

上海交通大学航空航天学院

——飞行员多生理信号主成分分析

上海交通大学航空航天学院发表了一项研究分析飞行员多生理信号主成分。经过模拟飞行实验采集的多维生理信号数据集和公共数据集的实验,结果显示与标准 PCA 相比,SPCA 提取的稀疏主成分解释性更强、计算用时更短。指出传统主成分分析(PCA)在评估飞行员工作负荷时存在主成分解释性差、计算耗时高的问题,尤其在飞行任务中产生的高维、复杂多维生理信号处理上表现不佳。

研究基于波音777-200ER飞行模拟器开展模拟飞行实验,采集8名被试在起飞、巡航、进近着陆阶段的5维生理信号(眨眼延迟、注视时间、瞳孔直径、心率、呼吸率),使用Smarteye眼动仪记录眼动数据,结合无线生理装置同步获取心率、呼吸等多生理参数。实验结果显示,SPCA提取的主成分在解释性与计算效率上均优于标准PCA,尤其在数据维度增加至8维以上时,计算时间显著缩短,且提取结果与NASA-TLX主观负荷评分高度一致,验证了SPCA在飞行员工作负荷评估中的高效性与实用性。

整个飞行过程中的生理信号变化

4

上海交通大学航空航天学院

——民机驾驶舱人为因素层次化综合评价与诊断方法研究

上海交通大学航空航天学院为解决现代航空事故中人为差错频发、传统驾驶舱人为因素评价方法诊断能力不足的问题,发表了一项研究。研究提出了一种基于“人机交互与人机状态”的多维人为因素概念框架,涵盖认知活动、控制活动、工作负荷与飞行绩效四个方面,构建出可覆盖适航法规要求的客观定量评价指标体系,并创新性地引入“分组分层次主成分得分加权集成”的多指标综合方法,有效提升评价灵敏度与抗干扰能力。

实验部分采用Smart Eye眼动仪追踪飞行员视觉行为,无线生理装置采集心率、呼吸、肌电等,结合FlightGear模拟器输出的飞行参数,全面评估飞行员在复杂任务中的状态与绩效。最终,该方法成功应用于ARJ21-700飞机针对CCAR-25.1523“最小飞行机组”条款的适航审定试验,验证了其在真实环境中区分驾驶舱设计差异、诊断安全隐患来源的有效性,为我国民机适航审定提供了理论支持与技术手段。

前景图像感兴趣区域划分

不同飞行阶段中被试的注视点分布情况

5

中国民航大学

——起飞阶段不同能见度对飞行员的眼动行为影响分析

中国民航大学针对低能见度起飞阶段飞行员眼动行为与工作负荷问题开展研究,利用本校Prepar 3D 仿真实验平台设置高(>3500 m)和低(1200 m)两种能见度场景,借助Smart Eye Pro 眼动仪同步采集16名研究生被试的注视次数、持续时间、扫视轨迹长度、瞳孔直径及注意力分配等参数,并以NASA-TLX量表主观评分作为工作负荷指标。

结果表明:在低能见度条件下,飞行员单个注视持续时间延长0.06 s、扫视轨迹增加11 mm、瞳孔直径增大0.23 mm,更多注意力转向跑道与速度表,但注视次数、注意力转移概率及NASA-TLX得分无显著差异,说明HUD辅助下低能见度对起飞阶段信息感知、搜索加工及主观负荷影响有限,为低能见度运行安全与训练提供眼动数据支持。

注视点个数百分比

注视总时长百分比

6

 北京航空航天大学

——人机显示界面中的文字和位置编码

北京航空航天大学针对飞机驾驶舱信息显示界面设计问题,研究文字与位置编码对飞行员信息辨识效率的影响。通过自建多任务仿真界面,以中文/英文文字编码和左上、左中、右中、右上四种位置编码为变量,记录16名北航在校生的正确率与反应时间,并采用瑞典Smart Eye无接触眼动仪实时捕捉注视热点与注意力分配。

实验表明:中心及左侧位置辨识效率显著优于边缘及右侧;中文信息辨识效果优于英文;文字与位置编码无交互作用。研究为国产飞机显示界面适人性设计提供了眼动-绩效依据,强调母语与视野规律在编码策略中的重要性。

不同位置区域中文信息眼动热点图

注视点个数百分比

7

法国飞行员培训公司Hinfact——

飞行员培训Gazecraft Analytics工具开发

Hinfact 的研究聚焦于飞行员培训,他们创建并开发了用于支持商用飞机飞行员培训及培训中心的技术——Gazecraft Analytics工具。该系统将通过飞行数据、眼动方向分析以及Hinfact 自有的分析工具,评估飞行情境中人为因素的影响。数据分析与眼动追踪等技术的结合,使Hinfact能够识别关键飞行情境并开展研究,以提升飞行安全。经过多年的开发与完善,Gazecraft Analytics工具的最终产品已整合Smart Eye的头动与眼动追踪技术,以及Hinfact的眼动数据分析功能,且可由飞行教员独立操作使用。教员只需查看平板电脑屏幕,即可看到飞行员的眼动位置。培训结束后,他们可以直接通过静态或动态视图,在平板中分析所有重要飞行事件。

赢富仪器是Smart Eye眼动追踪系统的中国区官方代理,并提供专业的航空航天人因研究解决方案,如需获取相关产品及报价,欢迎致电4006-111-556详询!

参考文献

[1]姬鸣,解旭东,邱燕.飞行座舱人因设计中的眼动追踪技术应用[J].包装工程, 2021.DOI:10.19554/j.cnki.1001-3563.2021.18.010.

[2]薛桐 , 张舒 , 孙权 , 郭显 , 高原 , 石菲 , 胡泽兵. 眼动分析在战斗机飞行员生理心理监测及评价中的应用. 空军航空医学. 2022, 39(2): 156-159 https://doi.org/10.3969/j.issn.2097-1753.2022.02.017

[3]Evan T. Dill, Steven D. Young, Taumi S. Daniels and Emory T. Evans.Analysis of Eye-Tracking Data During Conditions Conducive to Loss of Airplane State Awareness.17th AIAA Aviation Technology, Integration, and Operations Conference.Jun 2017https://doi.org/10.2514/6.2017-3277

[4]Babu, M.D.; JeevithaShree, D.V.; Prabhakar, G.; Saluja, K.P.S.; Pashilkar, A.; Biswas, P. Estimating Pilots’ Cognitive Load from Ocular Parameters Through Simulation and In-Flight Studies. J. Eye Mov. Res. 2019, 12, 1-16. https://doi.org/10.16910/jemr.12.3.3

[5]白东博,吴奇,黄丹,等.飞行员多生理信号主成分分析[J].电光与控制, 2017, 24(1):5.DOI:10.3969/j.issn.1671-637X.2017.01.019.

[6]王臻.民机驾驶舱人为因素层次化综合评价与诊断方法研究[D].上海交通大学,2016.

[7]白杰,刘思远,杨坤.起飞阶段不同能见度对飞行员的眼动行为影响分析[J].人类工效学, 2018, 24(2):5.DOI:CNKI:SUN:XIAO.0.2018-02-005.

[8]张磊, 庄达民. 人机显示界面中的文字和位置编码[J]. 北京航空航天大学学报, 2011, 37(2): 185-188.

[9]Improving Flight Safety with Eye Tracking – Smart Eye