• Complex
  • Title
  • Keyword
  • Abstract
  • Scholars
  • Journal
  • ISSN
  • Conference
搜索

Author:

王鹏举 (王鹏举.) | 李明爱 (李明爱.)

Abstract:

目的 基于深度学习的脑电图-功能性近红外光谱技术(electroencephalogram-functional near-infrared spectroscopy,EEG-fNIRS)多模态脑机接口在康复工程中具有广泛的应用前景,但存在数据量不足的问题.为此,本文提出一种基于改进条件生成式对抗网络(conditional generative adversarial network,CGAN)的EEG-fNIRS多模态信号数据增广方法,以解决EEG-fNIRS多模态脑机接口与深度学习结合时面临的数据量匮乏的问题.方法 首先,对EEG和fNIRS数据进行滤波、归一化和下采样等预处理.然后,针对EEG的非平稳特点,在CGAN生成器和判别器中增加自注意力机制,获得EEG数据增广模型CGANE,加强捕捉和学习时变关键信息的能力.同时,针对fNIRS采样率低、信息量不充分问题,在CGAN生成器和判别器中增加上采样卷积层,获得fNIRS数据增广模型CGANf,加强模型的信息挖掘能力,并将CGANE和CGANf的条件信息设置为类标签;进而,利用CGANE和CGANf对每导EEG和fNIRS分别进行增广,并将多导EEG扩增数据和多导fNIRS[包括氧合血红蛋白浓度(oxyhemoglobin concentration,HbO)和脱氧血红蛋白浓度(deoxyhemoglobin concentration,HbR)两种]扩增数据串接融合,获得EEG-fNIRS多模态增广数据.最后,对公开的EEG-fNIRS多模态信号数据集TU-Berlin-A前6名受试者数据进行增广实验,并设计一维卷积神经网络分类器评估增广数据的质量.结果 基于EEG-fNIRS多模态信号公开数据集TU-Berlin-A前6名受试者的左右手运动想象数据进行实验研究表明,当数据扩增5倍时,本文方法取得94.81%的平均分类准确率.结论 CGANE和CGANf能够生成接近真实数据分布的EEG和fNIRS信号,验证了对CGAN改进和本文所提EEG-fNIRS多模态数据增广方法的有效性.

Keyword:

数据增广 脑电图 条件生成式对抗网络 多模态信号 功能性近红外光成像技术

Author Community:

  • [ 1 ] [王鹏举]北京工业大学
  • [ 2 ] [李明爱]北京工业大学信息学部,北京 100124;计算智能与智能系统北京市重点实验室,北京100124;教育部数字社区教育工程中心,北京 100124

Reprint Author's Address:

Email:

Show more details

Related Keywords:

Source :

北京生物医学工程

ISSN: 1002-3208

Year: 2024

Issue: 3

Volume: 43

Page: 250-258

Cited Count:

WoS CC Cited Count:

SCOPUS Cited Count:

ESI Highly Cited Papers on the List: 0 Unfold All

WanFang Cited Count: -1

Chinese Cited Count:

30 Days PV: 0

Affiliated Colleges:

Online/Total:1328/10817247
Address:BJUT Library(100 Pingleyuan,Chaoyang District,Beijing 100124, China Post Code:100124) Contact Us:010-67392185
Copyright:BJUT Library Technical Support:Beijing Aegean Software Co., Ltd.