当你微笑时有哪些变化？从外表看来，嘴角的肌肉明显被拉起，脸颊上扬。实际上，面孔并不总能说出感受的真相，人的情绪比眼睛所看到的更多。微笑时，你的瞳孔可能会扩大，心率可能会暂时减慢，皮肤表面的汗腺可能会活跃起来。
在了解和解码情绪后，这些信息十分具有价值，但如果没有专门的技术，很多信息将被隐藏起来，这就是情绪识别技术的意义~
什么是情绪识别？
情绪，是一系列主观认知经验的高度概括，由多种感觉、思想和行为等产生的生理心理状态。人们在交流过程中无时无刻不传递着大量的情绪信息。从认知神经科学角度来看，情绪也属于经典认知的一种。
一般来说情绪具有3种成分：
主观体验，即人对于不同情绪的自我感受；
外部表现，即人处在不同情绪时身体各部分动作的量化反应形式，包括面部表情、姿态表情和语调表情；
生理唤醒，即由情绪的变化所引起的生理信号的变化，生理唤醒是一种生理的激活水平，不同情绪的生理反应模式是不一样。
情绪识别的应用
情绪识别应用领域非常广阔，涉及日常生活的方方面面。
在医学领域，情绪识别能为精神疾病的诊断治疗提供依据。比如在意识障碍的诊断上，利用标准的行为量表不容易检测患者的意识状态，而计算机辅助评估意识障碍患者的情绪能帮助医生更好地做出诊断和治疗；
在用户体验方面，对产品进行调研时，获取用户的情绪变化，有利于发现产品存在的问题。
在交通领域中，对于那些需要高度集中注意力进行操作的工作人员，例如宇航员、长途旅行客车司机、飞行员等，他们的愤怒、焦虑、悲伤等负面情绪会严重影响他们的专注度，导致操作水平下降，造成交通事故的发生[1]。及时检测这类人员的情绪状态是避免事故发生的一种有效手段。
情绪识别方式
情绪表达的途径多种多样，情绪的载体也极其丰富。情绪过程与其他心理过程不一样，表现在情绪活动过程中伴随着一定的行为表现。美国心理学之父威廉·詹姆斯[2]认为情绪是人们对于自己身体所发生变化的一种感觉，先有身体的变化然后才有情绪的感知，任何情绪的产生都伴随着一定的身体变化，包括面部表情、肌肉紧张、内脏活动等，从而可以通过行为表现感知推测情绪变化。
现阶段情绪识别的方式主要分为两方面，一是通过人的面部表情、语音声调、身体姿态等非生理信号进行识别，由于这些非生理信号可以通过伪装等手段进行人为控制，导致有时不能获取到可以代表情绪的真实信号，从而无法准确的识别出真实的情绪状态。
另一方面，可以利用脑电信号、眼动数据、心电信号、肌电信号、皮肤电流反应等生理信号进行情绪识别。由于伴随情绪所产生的生理信号是由人体的神经系统和内分泌系统自发产生的，不易受到人为因素的影响，所以生理信号能够更准确的反映人类的情绪状态，基于生理信号的情绪识别能获得更加客观真实的结果，也更有利于实际应用。
主要的情绪识别技术
面部表情与情绪识别
面部表情是一种最为直观的情绪表达方式，对人脸信息进行分析就可以解读人的情绪。表情是所有面部肌肉变化所组成的模式。面部表情模式能精细地表达不同性质的情绪和情感。
目前，一些科研级别的面部表情检测系统（如美国 GAZETECH开发的gFace）除了基础的情绪指标以外，还具备多种微表情指标、面部特征点和头部行为识别，并具备数据存储和传输功能，可以与其他多模态数据同步采集、同步分析，被广泛应用于驾驶行为、人机交互等研究领域。
gFace 面部表情检测系统
语音信息与情绪识别
语音信息具有复杂多样的声学属性。人在不同情绪状态下的语调、语速等声学属性将显现其不同的情绪特性。从语音语调等声学属性中提取出能体现情绪差异的参数特征即可进行情绪识别。
脑电与情绪识别
因为情绪的变化会引起相应人体神经中枢的活动，进而反应为脑区的活跃，因此可以通过采集脑电图、核磁共振图像等脑成像技术来监测大脑结构和功能活动状态的变化。在这些大脑信号中，脑电被证实能够更好地提供反映情绪状态变化的信息。Davidson[2]等提出脑额叶皮层活跃活动能表征人体积极消极情绪变化。
为了利用脑电图信号识别情绪，需要执行以下步骤：记录用户大脑中观察到的电压变化;去除记录信号中的噪音和伪影;分析结果数据，提取相关特征;利用计算出的特征对分类器进行训练，得到原始脑信号与情绪状态的映射关系[3] 。
广告公司使用脑电图评估客户情绪以选择最合适的包装
眼动追踪与情绪识别
眼动仪是心理学基础研究的重要仪器。眼动仪用于记录人在处理视觉信息时的眼动轨迹特征，广泛用于注意、视知觉、阅读等领域的研究。眼动的时空特征是视觉信息提取过程中的生理和行为表现，它与人的心理活动有着直接或间接的关系，这也是许多心理学家致力于眼动研究的原因所在。
随着心理学相关实验技术和设备的不断更新与发展，目前通过眼动技术，可以掌握个体情绪识别能力的发展状况。通过借助眼动设备，根据人眼运动的规律，对一个人眼球运动轨迹进行记录，研究者从眼动仪的记录中提取所需要的的研究内容，如眼动的注视点、注视时间、眼跳次数、眼跳距离，瞳孔大小等数据，通过这些眼动指标，可以分析个体的心理活动特征，从而探析个体的情绪变化过程。
肌电图与情绪识别
EMG 支持一维价态测量，使其成为其他一维生物信号的重要补充。精神压力会导致交感神经系统激活，从而导致肌肉紧张，尤其是靠近颈部的上斜方肌 ，在情绪识别中，面部肌电图应用最多，面部肌肉的变化是情绪变化最直观的体现。
利用肌电图进行情绪识别时，通常提取EMG的高阶统计（HOS）参数以及6个独立的统计参数[4]。HOS 特征包括偏度（其均值分布的不对称程度）和峰度（分布尾部关于正态分布的相对重度）。统计特征包括归一化信号、原始信号的STD、原始信号和归一化信号的第一和第二差值的绝对值平均值。
轻便小巧的Cometa表面肌电传感器十分适用于局部肌电数据获取
皮肤电流反应与情绪识别
皮肤电反应（GSR）可能是最敏感的情绪反馈之一，也被称为皮肤电活性（EDA），或者皮肤电导（SC）GSR来源于皮肤汗腺的自主激活。这个手脚出汗是由情绪刺激引起的：每当我们发生情绪变化，GSR数据会显示出明显的模式，可以通过观察来统计量化。
使用GSR，可以测试出无意识行为状态下，即不做主观的认知状态控制下的真实心理状态。皮肤导电性由自主交感神经活动单独调节驱动身体，认知和情感状态以及完全潜意识的认知水平。我们根本无法有意识地控制皮肤导电性。正是这种情况，GSR是情绪唤醒的完美标志，它提供了真实可以了解事件对一个人的心理和生理的影响过程。
随着基于生理信号的情绪识别研究逐渐深入，越来越多的研究者们思考如何将研究成果转化和应用，由于干电极技术的不断发展以及可穿戴设备的与时俱进，关于情绪识别的相关研究成果已经更多地应用到实际产品中。
如需获取相关设备方案及报价，欢迎致电4006-111-556详询！
参考文献：
[1] LU Yifei. Research on multi-modal emotion recognition based on eeg and eye movement signal fusion[D]. Shanghai: Shanghai Jiaotong University, 2017.
[2] JAMES W. What is an Emotion?[J]. Mind, 1884, 9(34): 188-205.
[3] DAVIDSON R J, FOX N A. Asymmetrical brain activity discriminates between positive and negative affective stimuli in human infants[J]. Science, 1982, 218(4578): 1235-1237. DOI:10.1126/science.7146906
[4] ALARCAO S M, FONSECA M J. Emotions recognition using EEG signals: A survey[J]. IEEE transactions on affective computing, 2019, 10(3): 374-393. DOI:10.1109/TAFFC.2017.2714671
Using Deep Convolutional Neural Network for Emotion Detection on a Physiological Signals Dataset (AMIGOS)
