脑电组研究方向

脑机接口简称BCI（Brain Computer Interface）。一个典型的脑机接口系统包括脑电信号采集、信号分析和信号输出三个部分；信号采集模块作为系统的输入，负责采集大脑活动的试试信息。信号分析模块负责对采集到的信号进行特征提取和分类，解读人的控制意图，并将其转化为控制命令。

图 1 脑机接口系统的组成

EEG是在人脑外部可以检测到的一种脑电信号，基于EEG的脑机接口是一种非侵入式的脑机接口，具有易于采集、安全性高和时间分辨率高等特点。因此可以作为人与外界交互的一种方式，而且不需要肢体运动或是话语，这对肢体不便者尤为重要。基于EEG的脑机接口可以根据采集到的脑电信号分为多种类型，本脑电组的研究对象有运动想象、SSVEP及结合多种信号的多模态脑机接口。

图 2 脑机接口作为人与外界交互的手段

图 3 三种不同脑机接口技术

稳态视觉诱发电位简称（SSVEP），是大脑对频率在6Hz到16Hz区间内的周期性重复刺激的响应。该信号在使用时，具有训练时间少、信息传输率高、使用简单等特点。采集信号时，可以从人脑的枕区部位获取该相应信号。SSVEP在频域内的特征更为明显，获取到原始信号后，经由滤波及傅里叶变换，在频域范围内可以看到在与刺激频率相同的频率处有较为明显的峰值现象。

典型相关性分析（CCA）可以用于两个信号之间的相关程度分析。在对采集到的SSVEP信号进行分类时，可以以具有不同频率且频率固定的信号作为参考信号，将采集到的信号与具有不同频率参考信号使用典型相关分析计算相关系数，相关程度最高的可以认为是SSVEP信号所传递的频率。该方法在处理SSVEP信号时不需要预先的训练，简单有效。

下图为被试者通过使用SSVEP信号控制移动机器人进行移动、抓取任务，实验中被试者主动选择接受不同频率视觉刺激，生成具有不同特征的响应信号，进而控制移动机器人执行不同的任务。

图 4 SSVEP控制移动机器人执行抓取任务

ERD/ERS现象是指人在进行单边的肢体运动或想象运动时，对侧脑区产生事件相关去同步（ERD）电位，同侧脑区产生事件相关同步（ERS）电位。对于患有肢体残疾的人来说，即使肢体受限，也可以通过想象运动生成对应的控制信号，这也是将BCI应用于实际环境的情景之一。运动想象（感知运动节律的调节）的分类基于ERD/ERS现象，常见的想象部位为左手、右手、舌头、脚（激活位置相对较远，彼此干扰较小）的运动想象。在进行运动想象的过程中，会引起ERD/ERS现象的变化，通过这种变化可以区分大脑的不同状态（想象不同侧的肢体运动）。

图 5 大脑在肢体运动和想象运动下的脑地形图

图 6 大脑在想象不同部位时的脑地形图

共空间模式分析（CSP）是一种寻找最优空间投影使得两个类别特征间方差差异最大的算法，能够有效估计运动想象二分类中的两个空间投影并提取特征信号，并能够去除EEG信号中除运动想象外的杂波信号及噪声。

图 7 不同运动想象部位的CSP特征提取

图 8 运动想象控制的一般流程

多模态脑机接口系统框架旨在开发一套多模态在线脑机接口系统，用于控制机器人行走到指定位置并完成抓取动作。将SSVEP、μ节律和运动想象三种模态的脑电信号进行结合，SSVEP控制机器人行走，运动想象控制机器人抓取物体，μ节律和机器人行走和抓取任务之间的切换开关。机器人的任务完成情况会通过摄像头传送到人机交互界面，被试者可以根据机器人当前所处的位置与目标位置的距离来给出恰当的控制命令，以便控制机器人用最快的时间走到目标位置，完成抓取动作。

图 9 多模态脑机接口框架设计

图 10 多模态脑机接口离线实验及SIGverse仿真界面

SIGVerse环境下的仿真机器人的控制比较容易，真实环境下的实体机器人控制会比仿真机器人的情况更为复杂，具有较多的不确定因素，因此我们设计了对实体机器人的在线控制实验，进一步检测系统的性能。

图 11 多模态脑机接口实体机器人控制设计

图 12 多模态脑机接口实体机器人控制-抓取

意念驾驶汽车是使用脑机接口控制汽车执行一系列的命令，为了安全地控制汽车，我们首先设计了虚拟仿真系统进行离线测试。

图 13 虚拟仿真系统结构图

图 14 CCTVNEWS意念控制汽车

和长城汽车合作的脑控汽车项目中所使用的框架，是一种基于计算机视觉与脑机接口的人机共驾系统，以监督协调的理念，使用脑电信号控制实体长城H7型SUV汽车，结合视觉信息检测道路，达到能够在道路上平稳行驶的效果。汽车的中控系统已经经过预先的改造，可以通过中控电脑向汽车发送启停、转向等控制命令。

图 15 人机共驾系统的外观与内部布局

图 16 CCTV金桥典礼上播出的实体脑控汽车

图 17 CCTV金桥典礼上的段老师

图 18 CCTV金桥典礼上的脑控小车1

图 19 CCTV金桥典礼上的脑控小车2

运动意图检测是指从肢体开始运动前的脑电信号中提取预运动特征，对运动状态和静息状态进行分类。运动意图检测算法能够在人的肢体开始运动之前，从人的脑电信号分析出当前时刻人的运动意图。由于运动意图检测是在运动点之前获取的，因此运动意图检测算法对运动检测具有重要意义。

基于任务相关成份分析的运动意图检测算法，能够有效地对运动状态和静息状态下的脑电信号进行区分，大大提高了运动意图检测算法的正确率。该算法通过空间滤波对位于低频段的运动相关皮层电位，并从优化后的脑电信号中提取典型相关特征，最后使用线性判别分析进行对运动和静息进行分类。

准确高效的心理工作负荷 (Mental Workload) 检测能提高被试在执行复杂任务时的工作效率，在提高脑机接口 (BCI) 性能、设计教育任务难度等方面得到了广泛的应用。基于一维卷积的浅层神经网络能够以轻便的算法结构从脑电信号 (EEG) 中挖掘被试的工作负荷情况，进而实现对被试进行快速准确的心理工作负荷检测。

  图 22  心理工作负荷检测分析图

训练神经网络往往需要大量数据支持，然而采集大量脑电数据 (EEG) 往往耗时耗力，而且被试疲劳等因素会导致有效数据量少。因此，通过采用基于信号分解的数据增强方法能有效利用现有的小数据集高效生成人造数据进行神经网络训练，在保证神经网络效果的前提下大大降低了数据采集的成本。                         

 图 23  数据增强方法数据采集示意图

脑电是大脑神经元活动的外在表现形式，包含着丰富的反映生理、心理以及病理的信息。脑电信号的处理和分析，可以为某些疾病提供可靠的临床诊断依据，且对探索和认识大脑的科研工作具有重要的意义。在采集过程中，脑电常常混入由非脑神经组织产生的各种伪迹(图24)，如眼电、肌电、心电及工频干扰等。这些干扰信号与脑电信号相互混叠，淹没了脑电信号原本的波形特征。因此，脑电去噪在脑电相关研究中是一个必不可少的环节。在这些常见的伪迹中，肌电因幅值大、频域宽以及分布位置多变，往往最难消除。

图 24 EEG信号与主要伪迹示意图

近年来，集合经验模态分解（EEMD）与盲源分离技术的结合被证实对伪迹的抑制具有显著的效果。然而，在实际应用中，集合经验模态分解的运行速度较慢，难以满足日益增长的实时性要求。因此，提出一种联合基于信号序列化技术的集合经验模态分解(serial EEMD)和典型相关分析的肌电伪迹降噪方法。在半仿真数据（图25）上的测试结果表明，该方法可明显加快分离肌电噪声的速度(图26)。

                                （a）                                   (b)                                      (c)

图 25 长度为2s的数据示例 （a）纯净的EEG数据，（b）纯净的肌电数据，（c）信噪比为0.5时的半仿真数据

图 26 serial EEMD和EEMD的平均分解时间

目前大多人机交互系统存在“违和感”，即交互内容单调，缺乏共情能力。情感计算是一种让机器理解人类情感的方法，人机交互系统识别、理解人类情绪并进行互动，可改善现有人机交互过程中只是简单、机械对话的缺陷，减少人机交互的“违和感”。其中，情绪识别是情感计算的关键环节。情绪识别包括了基于生理信号（如EEG）的识别方法和基于非生理信号（如面部表情）的识别方法，多模态情绪识别则是基于不同模态的信号识别情绪，研究表明多模态情绪识别更可靠、准确。

图 27 基于情绪识别的人机交互系统

人脑连接网络的构建对人类了解脑的运作机理具有重要意义，但目前对于人脑连接的研究大多着重于脑内不同区域之间的连接。而人脑皮层根据神经元细胞类型的不同可以分成不同层，不同层的功能也不相同，同时研究表明皮层不同层内的纤维结构也不同。因此研究脑内不同区域各层之间的连接，对进一步阐释人脑内部机理具有重要作用。

扩散加权成像(Diffusion Weighted Imaging, DWI)是MRI的一种特殊成像技术。能够估计大脑纤维间的连接。我们使用扩散张量成像技术对大脑区域进行了分层，并对分层后两区域各层之间的连接进行分析研究。

图 28 研究框图

功能核磁共振成像技术（functional Magnetic Resonance Imaging, fMRI）是一种较新的医学成像技术，可以对大脑各部位多角度、多平面成像，其空间分辨率高，能在客观具体地显示大脑各部位间解剖关系基础之上，对正常大脑及各种脑疾病进行深入的功能变化研究，能较为客观地反映出大脑在静息态和任务态下的功能变化及相关解剖网络和功能网络联系，是人们认识理解脑功能的重要研究手段。其中，以血氧水平依赖功能磁共振成像(Blood Oxygenation Level-Dependent fMRI, BOLD-fMRI) 为较为常用的成像方式。

        BOLD-fMRI技术是一种无创脑功能研究技术，依靠含氧血红蛋白和脱氧血红蛋白之间的磁化矢量的差异来产生fMRI信号，可以反映人脑在执行某项任务范式或受到某种刺激时全脑功能区的激活状况。在对fMRI信号的研究过程中，机器学习算法的引入大大提高了研究人员对fMRI信号的分析处理能力，而独立成分分析作为一种优秀的无监督信号分解方法，被广泛应用在fMRI数据分析之中。图28展示了利用独立成分分析将fMRI信号进行分解，并利用多种机器学习算法对fMRI空间独立分量进行分类的过程，该方法可以较好地提取任务态fMRI信号的独立特征，并有效降低数据维度，帮助研究人员探索不同认知任务下大脑的活动模式。

图 29 使用独立成分分析对fMRI数据进行分析