INFO new logo

Qualisys研究方向|研究型艺术表演

LIVE(大型交互式虚拟环境)实验室是拥有106个座位的独特的研究型表演大厅,位于加拿大麦克马斯特大学内。LIVE实验室用于研究音乐、舞蹈、多媒体演示和人类互动体验。LIVE实验室的研究人员主要有麦克马斯特大学理学院、健康科学学院、工程学院和人文学院与国际上的研究人员,以及行业合作伙伴。


LIVE实验室|图片来源:Canadian Audiologist

LIVE实验室也是一个专门为研究而设计的音乐厅,既可以作为小型音乐会场地、也可以用作神经科学实验室,世界上类似的音乐厅/实验室屈指可数。该实验室配备了主动声学控制系统、录音设备,行为反应、动作(运动捕捉系统)、脑反应(EEG)、肌肉张力(EMG)、心率、呼吸频率和皮肤电反应(GSR)等测量系统。

图片来源:Canadian Audiologist

 

LIVE实验室采用最严格的噪音隔离标准,让背景噪音低到NC10。主动声学系统能数字化地改变混响时间,随意切换音乐厅声学环境,如变成教堂、音乐厅或者教室。无线平板电脑系统可以让研究人员收集表演时观众的反馈,像KEMAR声学人体模型这类的仪器可以让研究人员从助听器使用者的角度来收集信息,从而在更真实的环境中研究听力障碍的相关问题。参加音乐会的观众和音乐家允许研究人员在音乐上采集脑电波、心率等生理指标,用于研究表演对观众的影响。

三维运动捕捉系统

✔ 24个 Qualisys Oqus 500+ 摄像机

✔ 2个 Qualisys Oqus 700+ 摄像机

✔ 1个 Qualisys 210c 视频摄像机

✔ QTM 软件

✔ Visual 3D 软件

✔ 3DSMax 软件

✔ Motion Builder 插件

✔ Unity 插件

整个实验室(约186平方米)由一套Qualisys三维运动捕捉系统覆盖,用于采集表演者或观众的动作,精确到亚毫米级别。通过QTM软件,可以集成EMG等数据,利用实时触发器同步各个测试设备的采集时间。Qualisys三维运动捕捉系统参与的研究测试:

舞蹈动作分析

分析音乐表演和指挥家的动作

调查表演者与观众之间的互动

学习戏剧表演、演讲

调查观众的参与性

研究临床运动障碍(如:帕金森病、发展协调性障碍)

用于图像/游戏设计的移动跟踪

一直以来,艺术的世界都是感性的,很难进行量化。但是,在LIVE实验室,科学家利用Qualisys三维运动捕捉系统,采集表演者微妙的动作变化,量化表演者之间的协调性,解释音乐家们如何协调彼此来演奏富有表现力的音乐作品。

“摇摆的科学”就是这样的研究项目之一。Andrew Chang等研究人员为了量化关节的情感表达,使用Qualisys三维运动捕捉系统同时测量每个音乐家(钢琴、小提琴、大提琴)在表演时的身体摇摆。演奏时,会进行带情绪表演和不带情绪表演。利用格兰杰因果关系分析音乐家身体摇摆运动时间序列,可以反映信息流。结果表明,在表演有情绪表达的作品时,合奏组的身体摇摆的格兰杰耦合性高于无情绪表达的合奏组。格兰杰耦合进一步与乐团成员自己和音乐家评判员根据录音对情感强度的评价相关联。综上所述,研究结果表明,合作表演者身体摇摆的格兰杰耦合反映了合奏音乐中的联合情绪表达,从而为研究联合情绪表达提供了一种新的方法。

图片来源:Canadian Audiologist

LIVE实验室已经完成和正在进行的研究项目超过70项,研究人员将会继续围绕人类交互的行为和神经心理学领域展开更多的研究。

参考资料

[1]ABOUT LIVELab[EB/OL].https://livelab.mcmaster.ca/
[2]About Research[EB/OL].https://livelab.mcmaster.ca/research/about-research/
[3]Dan Bosnyak, PhDLaurel Trainor, PhD.The LIVELab Facility at McMaster University in Hamilton, Ontario[EB/OL].https://canadianaudiologist.ca/the-livelab-facility-feature/
[4]Researchers use the “science of sway” to examine how musicians communicate non-verbally during performance[EB/OL].https://brighterworld.mcmaster.ca/articles/researchers-use-the-science-of-sway-to-examine-how-musicians-communicate-silently-during-performance/
[5]Motion Capture[EB/OL].https://livelab.mcmaster.ca/app/uploads/2021/05/Spec-Sheet-Motion-Capture.pdf
[6]Chang, A., Kragness, H.E., Livingstone, S.R. et al. Body sway reflects joint emotional expression