(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211330654.1 (22)申请日 2022.10.28 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 张旸吴庸 　叶娅兰　王冲　潘桐杰　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 周刘英 (51)Int.Cl. G06K 9/00(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多源域适应的脑电信号跨用户警 觉性监测方法 (57)摘要 本发明公开了一种基于多源域适应的脑电 信号跨用户警觉性监测方法， 属于脑电信号识别 技术领域。 本发 明采集多名用户的脑电信号进行 预处理并作为多源源域。 对于每一个源域数据， 设置一个特征提取器实现对脑电信号的空间特 征和时序特征的提取， 设置两个任务分类器实现 对特征的分类。 采用对抗性域适应策略进行特征 提取器和任务分类器的训练， 以优化提取到的特 征的分布， 减少跨用户带来的特征决策边界处混 淆的影响。 在使用时， 该系统利用可穿戴设备将 脑电信号输入 特征提取器和任务 分类器中， 通过 投票的方式判定用户处于的警觉性状态。 本发明 实用性高， 泛化性强， 有效的提升了跨用户背景 下用户的警觉性劳状态监测精度。 权利要求书4页 说明书13页 附图3页 CN 115470830 A 2022.12.13 CN 115470830 A 1.一种基于多源域适应的脑电信号跨用户警觉性监测方法， 其特征在于， 包括以下步 骤： 步骤S1， 基于可穿戴设备采集n位用户在不同的驾驶状态中激发的脑电信号数据， 并对 采集的各个用户的脑电信号数据进行数据预处理， 得到每个用户的多个数据样本以及每个 数据样本的警觉性状态标签， 将同一用户的所有 数据样本作为当前用户的训练集， 得到n个 训练集S1,S2,...,Sn， 其中， n为大于1的整数； 数据预处理为： 截取驾驶过程中每次突发情况前M秒的脑电信号数据作为一个数据样 本， 并根据用户的反应时间设置每个数据样本的警觉性状态的真实分类标签， 其中， M为预 设值； 步骤S2， 基于训练集S1,S2,...,Sn对警觉性 监测模型进行 预训练； 警觉性监测模型包括n个警觉性监测器， 每一个训练集对应一个警觉性监测器， 每个警 觉性监测器包括 一个特征提取器G和两个任务分类 器F1， F2； 对每个警觉性监测器， 基于预设的批数据大小， 从当前警觉性监测器对应的训练集中 读取当前 的输入数据并输入警觉性监测器； 特征提取器G用于提取输入数据的空间特征和 时序特征， 并将提取出的时序特征和空间特征乘以各自的权重后进行拼接得到脑电信号的 空间时序特 征， 再将脑电信号的空间时序特 征分别输入 任务分类 器F1和F2中； 任务分类器F1和F2用于输出警觉性状态的分类概率， 将 任务分类器F1和F2的分类概率相 加得到警觉性监测器的分类概率， 并基于警觉性监测器的分类概率中的最大概率值对应的 警觉性状态得到警觉性 监测器输出的预测分类标签； 步骤S3， 对待监测的目标用户， 基于可穿戴设备采集目标用户在不同的驾驶状态中激 发的脑电信号数据， 并对采集的脑电信号数据进 行数据切割， 得到多个目标样本， 目标样本 的数据长度与步骤S1中的数据样本的相同； 步骤S4， 将训练集S1,S2,...,Sn分别作为源域数据， 所有的目标样本作为目标域数据Xt， 采用多源域 适应策略对预训练后的警觉性 监测模型进行对抗 域适应训练； 步骤S5， 实时采集目标用户在行驶状态中激发的脑电信号数据并作为待监测数据， 所 述待监测数据的长度与目标样本相同； 将当前采集的待监测数据同时输入到步骤S4训练后的n个警觉性检测器 中， 得到n个预 测分类标签， 采用投票方式判定目标用户的当前警觉性状态。 2.如权利要求1所述的基于多源域适应的脑电信号跨用户警觉性监测方法， 其特征在 于， 警觉性状态设置为 三类： 警觉性高、 警觉性 一般、 警觉性差三类。 3.如权利要求2所述的基于多源域适应的脑电信号跨用户警觉性监测方法， 其特征在 于， 步骤S1中， 每 个数据样本的警觉性状态的真实分类标签的具体设置方式为： 将突发情况分为两类， 制动类突发情况和非制动类突发情况； 对制动类突发情况， 若当前数据样本满 足1.2×(RenTT+0.15) ×Vi‑BraSi>0时， 则真实 分类标签设置为警觉性差； 若当前数据样本满足1.2 ×(RenTT+0.15) ×Vi‑BraSi≤0且1.6 ×(RenTT+0.15) ×Vi‑BraSi>0时， 则真实分类标签设置为警觉性一般； 若当前数据样本满 足1.6×(RenTT+0.15)×Vi‑BraSi≤0时， 则真实分类标签设置为警觉性高； 对非制动类突发情况， 若当前数据样本满足RenTi＞2.5 ×RenTT或RenTi＞3.3S 时， 则 真实分类标签设置为警觉性差； 若当前数据样本满足RenTi≤2.5 ×RenTT且RenTi＞1.8 ×权　利　要　求　书 1/4 页 2 CN 115470830 A 2RenTT时， 则真实分类标签设置为警觉性一般； 若当前数据样本满足RenTi≤1.8 ×RenTT且 RenTi＞1.5 ×RenTT时， 则真实分类标签设置为警觉性高； 其中， RenTi表示第i次突发情况时， 从突发情况出现到驾驶员做出相 关动作的反应时 间， RenTT表示第1次到第i次突发情况的反应时间中的上百分之十位数， Vi表示第i次突发 情况的行驶速度， BraSi表示第i次突发情况时的制动距离 。 4.如权利要求3所述的基于多源域适应的脑电信号跨用户警觉性监测方法， 其特征在 于， 步骤S1中， 每个数据样 本的警觉性状态的真实分类标签的具体设置方式还包括， 统计用 户在驾驶状态的闭 眼现象， 以及被驾驶对象的行驶轨 迹偏离程度大于指定值的行驶状态； 若当前数据样本的采样时间与闭眼现象和/或行驶轨迹偏离程度 大于指定值的行驶状 态的采样时间有交叉， 则将当前 数据样本的真实分类标签设置为警觉性差 。 5.如权利要求2所述的基于多源域适应的脑电信号跨用户警觉性监测方法， 其特征在 于， 步骤S1中， 每 个数据样本的警觉性状态的真实分类标签的具体设置方式为： 根据公式LRT(t)=Act(t) ‑Dep(t)计算第t次遭遇突发情况时的局部反应时间LRT(t)， 其中， Act(t)和Dep(t)分别表示第t次突发情况发生时刻和用户开始作出反应的时刻； 将第t次遭遇突发情况时的全局反应时间GRT(t)设置为： 第t次遭遇突发情况之前的指 定驾驶时长内的所有局部反应时间的平均值； 设置每个数据样本的警觉性状态的真实分类标签为： 若LRT(t)＞2.5 ×ART且GRT(t)＞2.5 ×ART， 则将第t个数据样本的真实分类标签设置 为警觉性差； 若1.5×ART≤LRT(t)≤2.5 ×ART或者1.5 ×ART≤GRT(t)≤2.5 ×ART， 则将第t个数据 样本的真实分类标签设置为警觉性 一般； 若LRT(t)≤1.5 ×ART且GRT(t)≤1.5 ×ART， 则将第t个数据样本的真实分类标签设置 为警觉性高； 其中， ART表示警觉性高的代 表性反应时间。 6.如权利要求1所述的基于多源域适应的脑电信号跨用户警觉性监测方法， 其特征在 于， 步骤S2中， 特征提取器 G包括基于卷积网络的脑电信号网络和基于循环网络的长 短期记 忆网络， 其中， 基于卷积网络的脑电信号网络用于提取输入数据的空间特征， 其依 次包括： 一层卷积神经网络、 一层深度卷积网络、 一层可分离卷积网络和一个全连接层； 基于循环网 络的长短期记忆网络用于提取输入数据的时序特征， 其依 次包括： 两个双向长短时记忆网 络层和一个全连接层。 7.如权利要求1所述的基于多源域适应的脑电信号跨用户警觉性监测方法， 其特征在 于， 步骤S 2中， 任务分类器F1和F2的网络结构相同， 依次包括第一全连接层、 激活函 数层和第 二全连接层。 8.如权利要求1至7任一项所述的基于多源域适应的脑电信号跨用户警觉性监测方法， 其特征在于， 步骤S2中， 警觉性监测模型的各个疲劳监测器在预训练 时， 采用的损失函数为 交叉熵损， 将警觉性监测器的交叉熵损失反 向传播以更新特征提取器G和任务分类器F1， F2 的网络参数。 9.如权利要求8所述的基于多源域适应的脑电信号跨用户警觉性监测方法， 其特征在 于， 警觉性 监测器的交叉熵损失为：权　利　要　求　书 2/4 页 3 CN 115470830 A 3