2018, Vol. 50
2. 重庆邮电大学 先进制造学院，重庆 400065
2. School of Advanced Manufacturing Engineering, Chongqing University of Posts and Telecommunications, Chongqing 400065, China
基于脑机接口(brain-computer interface, BCI)的人机融合控制系统, 被称之为脑控系统[1].根据信号采集的方式不同可将BCI分为侵入式和非侵入式.侵入式将电极放置于人或动物的大脑内, 检测脑皮层电图(electrocorticogram, ECoG)信号；非侵入式是将电极帽戴于头部检测脑电图(electroencephalogram, EEG)信号.从安全性和实用性等方面考虑, 普遍使用的还是基于头皮脑电EEG的非侵入式脑机接口.
目前, 针对EEG信号的BCI研究主要集中于运动想象脑电信号方面.常用的处理方法主要分为浅层学习和深度学习两类.浅层学习方法主要有共同空间模式(common spatial patterns, CSP)[2]、自回归(auto regressive, AR)模型[3]、人工神经网络(artificial neural network, ANN)[4]等；深度学习方法主要有卷积神经网络(convolutional neural networks, CNN)[5]和深度信念网络(deep belief networks, DBN)[6]等.其中, 深度信念网络DBN由于其良好的信号处理效果获得了较多研究者的青睐.文献[7]通过对网络权重和临界频带信道进行讨论, 构建了DBN脑电信号情感识别模型, 获得了最高86.6%的识别率, 但对12个通道的网络参数微调过程十分复杂.文献[8]利用半DBNs监督范式模型较好的对脑电信号进行了分类和异常检测, 但该方法建立106数量级的样本数据集之上.文献[9]尝试用通过逐层贪婪训练的方法解决小样本集问题, 但平均识别率为仅有75.4%, 仍有改进和提升的空间.
对此, 本文针对小样本集的脑电信号, 提出了基于随机隐退DBN脑电信号处理算法.预处理阶段采用主成分分析法对获取的原始脑电数据进行降维处理, 参数微调阶段对DBN网络加入随机隐退；实验证明, 相比CSP、PCA和普通DBN等算法, 基于随机隐退的DBN网络在减少了训练时间的同时仍保证了对样本集的高识别率, 验证了基于随机隐退DBN分类算法的有效性.最后利用该算法在线控制智能轮椅, 最高识别率为90.4%, 验证了该算法的可行性.
1 深度信任网络深度信任网络是深度学习中应用最广泛的模型之一, 由若干个受限制波尔兹曼机(restricted boltzmann machine, RBM)和一层BP(back propagation)神经网络组成[10-11], 如图 1所示.其训练方式是在无监督学习的基础上建立多层神经网络, 通过无标签数据从下往上的逐层训练RBM, 在完成一层的训练后, 将该层的输出作为上一层的输入, 直至每层RBM训练完成.最后使用BP神经网络将输出与有标签的数据进行对比, 并将差值回传, 完成对网络参数的微调.
|
图 1 RBM网络模型 Figure 1 Network model of RBM |
设向量v={v1, v2..., vn}为可见单元节点, 向量h={h1, h2...., hn}为隐含单元节点, 则RBM系统的能量函数为
| $ E\left( {v, h|\theta } \right) = - \mathop \sum \limits_{i = 1}^I \mathop \sum \limits_{j = 1}^J {w_{ij}}{v_i}{h_j} - \mathop \sum \limits_{i = 1}^I {a_i}{v_i} - \mathop \sum \limits_{j = 1}^J {b_j}{h_j}. $ | (1) |
其中：ai、bj分别为可见层和隐含单元的偏置, I、J为可视单元和隐单元的数目, wij为可见单元与隐含单元之间的连接权值, θ为模型参数；
经过式(1)学习确定参数之后, 可得出玻尔兹曼机能量函数关于v, h的联合分布为
| $ p\left( {v, h|\theta } \right) = {e^{ - E(v, h|\theta )}}/{\sum _{v, h}}{{\rm{e}}^{ - E(v, h|\theta )}}), $ | (2) |
由式(2)可得出关于v, h的边际分布分别为
| $ p\left( {v|\theta } \right) = {{\rm{e}}^{ - E(v, h|\theta )}}/{\sum _h}{{\rm{e}}^{ - E(v, h|\theta )}}), $ | (3) |
| $ p\left( {h|\theta } \right) = {{\rm{e}}^{ - E(v, h|\theta )}}/{\sum _v}{{\rm{e}}^{ - E(v, h|\theta )}}). $ | (4) |
根据RBM是一种层内各单位无连接、相互独立网络的特点, 得到指定可见层和指定隐含层情况下的条件概率函数分别为
| $ p({h_j} = 1|v;\theta ) = \delta (\mathop \sum \limits_{i = 1}^I {w_{ij}}{v_i} + {b_j}), $ | (5) |
| $ p({v_i} = 1|h;\theta ) = \delta (\mathop \sum \limits_{i = 1}^I {w_{ij}}{h_j} + {a_i}). $ | (6) |
其中激活函数为δ(x)=1/(1+exp(-x)).
2 基于随机隐退DBN网络算法DBN的训练过程主要分为预训练和参数微调.
2.1 预训练将主成分分析法[12]应用于预训练阶段以降低输入原始数据维数.主成分分析法(PCA)能够在保证信息损失较少的前提下, 对高维变量空间进行降维处理.其过程实质上是将以高维向量形式表现的脑电数据通过特殊特征向量矩阵, 投影到低维的向量空间中, 经舍弃有效主成分低的信息后, 表征为新的低维向量.最终通过低维表征的向量和特征向量矩阵, 重构出所对应的原始高维向量.
2.2 参数微调通过在参数微调阶段加入随机隐退提高算法效率, 最终得到网络最优参数值.随机隐退核心思想是在训练过程中, 随机选择隐含层中的部分权重节点参与网络迭代, 而未被选择的权重节点保留权重不更新, 每次参与迭代的节点均是随机确定, 如图 2所示.它是一种在大的网络结构中训练数量小和特征维数少的数据集样本时, 能较好避免产生过拟合、特征依赖等问题的方法.
|
图 2 随机隐退过程 Figure 2 The process of random retreat |
在从下往上两个隐含层的训练过程中引入随机隐退, 即隐含层在迭代时加入了一个节点过滤函数, h1=hM将某一部分的节点随机省略得到新的隐含层h1, 其中M为过滤函数.因此在此次网络训练过程中h3被省略, 同时传导到h3的权重未被更新, 但该权重并非为零而只是暂时被保留在该隐含层, 在下一次训练的网络迭代中, 若h3没有被新的滤函数M省略掉, 该权值将会在网络中传导.
引入随机隐退能够很好地摆脱参数更新时节点之间的相互依赖, 防止出现共同适应局部收敛产生过拟合, 训练出来的网络系统鲁棒性强.基于随机隐退DBN脑电信号识别算法完整流程图如图 3所示.
|
图 3 算法流程图 Figure 3 Algorithm flowchart |
本文将想象左右手运动这两类特定脑电信号作为研究对象.使用脑电数据采集仪Emotiv对脑电数据进行采集, 其采样频率为128 Hz. Emotiv传感器有16个电极, 电极按照国际10-20标准电极安放法进行安放.其中两个电极为参考电极, 14个为采样电极, Emotiv采集仪及电极具体安放位置如图 4所示.其中CMS和DRL为参考电极；F3、P3、T3等为电极通道.
|
图 4 Emotiv设备 Figure 4 Emotiv equipment |
选取20~40岁年龄区间身体健康的10名受试者在密闭、安静的环境下来进行信号采集, 并记录每个通道的数据. 图 5为其采集信号的单次实验过程.每一次数据记录过程如下：受试者在完全放松状态下, 准备开始实验(t=0 s)；t=2 s时, 受试者在听到一个提示声音后开始想象(分别对应运动想象中的左手或者右手运动), 并以显示器上出现左右箭头的方式告知受试者执行相应的思维想象任务告知受试者执行相应的思维想象任务；t=6 s时, 受试者进行短暂的休息.实验过程中, 每名受试者针对每一类特定动作任务进行320次实验.本文的每类信号选取5次实验过程中第2 s至6 s间的数据, 即4 s时间的数据, 总共2 560个数据点.把采集到的两类信号合成一组, 建立的实验数据集共有5 120组样本.
|
图 5 单次实验过程 Figure 5 The process of single experiment |
基于脑电的智能轮椅实验平台如图 6所示.由脑电数据采集器Emotiv采集脑电信号(想象左手运动、想象右手运动).采集到的信号由串口线传送到上位机, 经特征降维预处理后, 采用基于随机隐退的DBN模型对信号进行识别, 并把识别结果作为智能轮椅的控制指令.
|
图 6 基于脑电的智能轮椅平台 Figure 6 EEG-based intelligent wheelchair platform |
将采集到的5 120组样本以4:1的比例分为训练样本集和测试样本集.对于DBN网络的参数, 本文根据多次实验得到的数据集进行网络模型结构设置并进行参数调整, 选取层数为3的隐含层结构, 每层单元个数依次为480、160、20.考虑到输入样本经过了特征降维, 因此将学习率调整为0.1.
预训练阶段, 利用主成分分析法保留累计有效主成分大于80%的部分, 选择左右手运动想象两类样本相距较远的特征值作为输入样本的新特征点.
以对一位受试者采集的数据集为例, 将两类样本经PCA降维后得到的150组主成分样本平均值, 在保留累计贡献率大于85%的主成分的情况下, 选择图 7中两类样本相距较远的70组主成分作为新特征点得到新的特征向量.需要说明的是, 由于受试者存在个体差异, 数据集中累计贡献率大于85%的有效主成分数目不尽相同.
|
图 7 预处理后两类脑电信号特征值分布 Figure 7 Distribution of eigenvalues of two types of EEG signals after preprocess |
参数微调阶段, 对未加随机隐退的DBN进行迭代, 然后在训练好的网络上对测试样本进行分类,
如图 8所示, 迭代次数为120时, 识别率最高为86.1%, 之后出现明显的过拟合现象；在DBN中加入随机隐退, 隐退比重设置为20%, 约100次迭代后, 识别率稳定在87.5%.与未加随机隐退的DBN相比, 隐退比重为20%的DBN模型信号识别率略有提高, 且所需迭代次数更少, 训练时间更短.
|
图 8 普通DBN和随机隐退DBN在数据集上实验 Figure 8 The experiment of ordinary DBN and random retiring DBN on data sets |
设置迭代次数为100、120、150, 网络中其他参数不变, 图 9描述了隐退比例和系统分类识别率的关系.对比发现, 对网络进行120次迭代且将隐退比重设置为20%左右时, 网络性能能够达到最优.
|
图 9 隐退比例与识别率的关系 Figure 9 Relationship between retiring ratio and recognition rate |
为了验证基于随机隐退DBN模型方法处理脑电信号的有效性, 选取标号为S1, S2, S3, S4, S5的5名受试者, 从训练时长和识别率等角度考量, 分别使用PCA、CSP、普通DBN网络、不经过主成分分析法预处理的随机隐退DBN模型和本文提出的基于随机隐退的DBN网络算法对2 560个测试集样本进行线下分类识别实验, 实验结果见表 1.
|
表 1 几种方法信号线下实验对比 Table 1 Comparison of several methodsin the offline experiment |
从表 1可以看出, 与传统算法PCA、CSP相比, DBN网络算法在测试集上的平均识别率更高, 证明了DBN网络算法相对其他算法的优越性.对于普通DBN与仅加入随机隐退的DBN网络, 后者在测试集上识别率高耗时短, 证明引入随机隐退的DBN网络在处理小样本集上的具有优越性.
虽然引入预训练仅让随机隐退DBN算法处理脑电信号的识别率提升了1.8%, 但它缩短了处理样本集上的耗时.证明了本文提出的基于随机隐退的DBN算法在减少了训练时间的同时仍保证了对样本集的高识别率.同时, 使用随机隐退DBN算法对选取的5位受试者脑电信号样本进行训练的时间是保持稳定的, 表明随机隐退的DBN网络较单一DBN网络鲁棒性更好, 更进一步验证了本文提出算法的可行性.
利用本文提出的基于随机隐退的DBN算法对部分受试者的左右手运动想象脑电信号进行识别, 把提取的单个运动想象特征转换成相应的命令指令控制智能轮椅. 表 2为部分受试者脑电信号控制智能轮椅左转和右转的正确率, 其中左转和右转的训练次数和测试次数各100次.
|
|
表 2 在线控制智能轮椅的正确率 Table 2 Correct rate of online control of smart wheelchairs |
从表 2可知, 脑电信号在线控制智能轮椅的最高正确率达到90.4%, 平均识别率为84.6%.与使用其他传统方法[13-14]实现的左右手运动想象脑电信号在线控制智能轮椅相比, 本文提出的算法在保持较高正确率的同时具有更高的稳定性.
综上所述, 基于随机隐退DBN系统在小样本集上保持较高识别率的同时, 能较大程度减少训练耗时, 验证了利用该方法处理脑电信号的可行性和实用性.
4 结论针对小样本集左右手运动想象脑电信号的识别, 提出了基于随机隐退的DBN算法, 并对其可行性进行了实验验证, 结果表明：与PCA、CSP、普通DBN和仅加入随机隐退的DBN算法相比, 基于随机隐退的DBN算法在小样本集上保持了较高识别率, 训练时间更少, 鲁棒性更好.证明这种思想在DBN系统中是可行的.最后, 利用该算法实现了脑电信号在线控制智能轮椅左右转, 识别效果优于其他传统方法, 证明了该算法的有效性, 并且在BCI系统中有广泛的应用前景.
| [1] |
王行愚, 金晶, 张宇, 等. 脑控:基于脑-机接口的人机融合控制[J]. 自动化学报, 2013, 39(3): 208. WANG Xingyu, JIN Jing, Zhang Yu, et al. Brain control: human-computer integration control based on brain-computer interface approach[J]. Acta Automatica Sinica, 2013, 39(3): 208. |
| [2] |
LOTTE F, GUAN C. Regularizing common spatial patterns to improve BCI designs: unified theory and new algorithms[J]. IEEE transactions on bio-medical engineering, 2011, 58(2): 355. DOI:10.1109/TBME.2010.2082539 |
| [3] |
ZHANG Yong, JI Xiaomin, ZHANG Yuting. Classification of EEG signals based on AR model and approximate entropy[C]//International Joint Conference on Neural Networks. Killarney, NJ: IEEE Press, 2015: 1
|
| [4] |
HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504. DOI:10.1126/science.1127647 |
| [5] |
ALFARO M, ARGUELLES A, YANEZ C, et al. Continuous neural networks for electroencephalography waveform classification[C]//Andean Region International Conference (ANDESCON).Cuenca, NJ: IEEE Press, 2012: 153
|
| [6] |
LI Pinyi, JIANG Wenhui, SU Fei. Single-channel EEG-based mental fatigue detection based on deep belief network[C]//2016 IEEE 38th Annual International Conference of Engineering in Medicine and Biology Society (EMBC). Orlando: IEEE Press, 2016: 367
|
| [7] |
ZHENG Weilong, LU Baoliang. Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks[J]. IEEE Transactions on Autonomous Mental Development, 2015, 7(3): 162. DOI:10.1109/TAMD.2015.2431497 |
| [8] |
WULSIN D F, GUPTA J R, MANI R, et al. Modeling electroencephalography waveforms with semi supervised deep belief nets: fast classification and anomaly measurement[J]. Journal of Neural Engineering, 2011, 8(3): 53. |
| [9] |
XU Haiyan, PLATANIOTIS K N. EEG-based affect states classification using deep belief networks[C]//Digital Media Industry & Academic Forum (DMIAF). Santorini, NJ: IEEE Press, 2016: 148
|
| [10] |
刘建伟, 刘媛, 罗雄麟. 玻尔兹曼机研究进展[J]. 计算机研究与发展, 2014, 51(1): 1. LIU Jianwei, LIU Yuan, LUO Xionglin. Research and development on boltzmann machine[J]. Journal of Computer Research & Development, 2014, 51(1): 1. |
| [11] |
LU Na, LI Tengfei, REN Xiaodong, et al. A deep learning scheme for motor imagery classification based on restricted boltzmann machines[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2017, 25(6): 566. DOI:10.1109/TNSRE.2016.2601240 |
| [12] |
郭武, 戴礼荣, 王仁华. 采用主成分分析的特征映射[J]. 自动化学报, 2008, 34(8): 876. GUO Wu, DAI Lirong, WANG Renhua, et al. Feature mapping based on PCA[J]. Acta Automatica Sinica, 2008, 34(8): 876. |
| [13] |
TANAKA K, MATSUNAGA K, WANG H. Electroencephalogram based control of an electric wheelchair[J]. IEEE Trans. Robotics, 2005, 21(4): 762. DOI:10.1109/TRO.2004.842350 |
| [14] |
TAHER F B, AMOR N B, JALLOULI M. EEG control of an electric wheelchair for disabled persons[C]//2013 International Conference on Individual and Collective Behaviors in Robotics (ICBR). Sousse: IEEE Press, 2013: 27
|