(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210927661.3 (22)申请日 2022.08.03 (71)申请人 成都理工大 学 地址 610059 四川省成 都市成华区二仙桥 东三路1号 (72)发明人 胡文艺　杜育佳　王洪坤　赵昆　 (74)专利代理 机构 成都方圆聿联专利代理事务 所(普通合伙) 51241 专利代理师 张敏 (51)Int.Cl. G06V 40/70(2022.01) G06V 40/12(2022.01) G06V 40/14(2022.01) G06V 10/25(2022.01) G06V 10/26(2022.01)G06V 10/28(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) H04L 9/32(2006.01) G10L 17/02(2013.01) G10L 17/04(2013.01) G10L 17/08(2013.01) G10L 17/18(2013.01) (54)发明名称 非接触式声纹与掌纹掌静脉的多模态身份 识别系统和方法 (57)摘要 本发明公开了一种非接触式声纹与掌纹掌 静脉的多模态身份识别系统和方法， 包括： 供电 模块： 用于对整个多模态身份识别系统供电； 固 定波长红外LED光源模块： 通过红外LED光源照射 人体手部， 协助图像采集CCD 模块进行人体掌纹、 掌静脉信息 特征的采集； 图像采集CCD 模块： 进行 人体掌纹、 掌静脉信息特征的采集； 语音采集模 块： 利用M FCC特征提取语音信息； 存储模块： 用于 存储语音采集模块和图像采集CCD模块采集的数 据。 多模态身份识别模块： 通过图片预处理， 图片 特征提取， 特征融合比对， 输 出结果。 本发明的优 点是： 提高了认证的安全性， 减少人工提取特征 的繁琐， 抗噪声干扰能力增强， 提高了系统的鲁 棒性和可移植 性。 权利要求书3页 说明书9页 附图3页 CN 115188084 A 2022.10.14 CN 115188084 A 1.一种非接触式声纹与掌纹掌静脉的多模态身份识别系统， 其特征在于， 包括： 供电模 块、 固定波长红外LED光源 模块、 图像采集C CD模块、 语音采集模块和存 储模块； 供电模块： 用于对整个多模态身份识别系统供电 固定波长红外LED光源模块： 通过红外LED光源照射人体手部， 协助图像采集CCD模块进 行人体掌纹、 掌静脉信息特 征的采集； 图像采集C CD模块： 进行 人体掌纹、 掌静脉信息特 征的采集； 语音采集模块： 利用MFC C特征提取语音信息； 存储模块： 用于存 储语音采集模块和图像采集C CD模块采集的数据； 多模态身份识别模块： 通过图片预处 理， 图片特 征提取， 特 征融合比对， 输出 结果。 2.一种非接触式声纹与掌纹掌静脉的多模态身份识别方法， 其特 征在于， 包括： 步骤1， 图像预处理； 预处理主要包括三个步骤， 首先是采用低通滤波对红外采集手掌 图像进行去噪， 其次是图像增强部分通过Sauvola算法提取出手 掌区域的二值图形， 最后是 ROI定位部分先将掌纹和掌静脉进行灰度变换， 使手掌边缘突出， 再将Canny算子用于检测 手掌边缘， 最后对图像进行裁 剪， 得到感兴趣的手掌区域图像； 步骤2， 特征提取； 特征提取分为两个部分， 第一部分为提取语音特征， 第二部分为提取 掌纹、 掌静脉两个手部特征； 采用ResNet作为主体结构， 引入SE模块， 构建出SE ‑ResNet网络 结构， 将预处理的图片 输入至SE ‑ResNet网络结构， 通过加入一个全局池化层来生 成特征分 布， 并以此完成信息编码的提取； 为了获得各通道之间的相关性， 结合了ReLU激活函数和 sigmoid门控制机制来完成特 征的重标定； 步骤3， 特征融合； 采用多层特征融合机制， 通过分解双线性模型进行融合获取手部和 音频不同模态之 间的相互作用， 将成对的音频、 手部特征输入融合模 型， 在全连接层上通过 softmax输出最终结果； 步骤4， 特征比对； 利用改进的FAST角点检测算法初步提取的特征点利用Shi ‑Tomasi算 法计算每点的角点响应函数， 根据角点响应函数取前N个响应值最大的点确定为特征点； 筛 选出的特征点的周围至少存在2个不同方向的强边界； 对于二进制特征描述向量的匹配， 采 用汉明距离作为描述符 之间的相似性度量； 步骤5， 输出交互； 采用联合判别稀疏编码算法判断三个模态的模内样本特征点， 使类 内的距离最小， 同时使类间的距离最大； 根据实际场景要求， 设定适合的阈值， 如果两个匹 配的样本属于相同的类且在声纹、 掌纹和掌静脉都匹配成功， 则界面显示认证成功， 否则提 示认证失败。 3.根据权利要求2所述的多模态身份识别方法， 其特征在于： 步骤2具体为： 对于任意给 定的信息进入网络模块后进行如式(1)所示的转换： X是输入的图片， U是提取的特 征； SE将全局空间信 息压缩成一个通道描述符， 通道描述符含了通道维度 上特征响应的全 局分布情况， 利用全局平均池化层得到一个通道维度上的统计数据； 统计值 是由式 (2)压缩具有空间维度H ×W的U得到的：权　利　要　求　书 1/3 页 2 CN 115188084 A 2变换输出U被解释为一个局部描述符的集合， 通道描述符的统计信息可以表达整幅图 像； 利用压缩操作得到的聚合信息， 完整捕获通道维度上的依赖性； 选择了一个带有 sigmoid激活函数的简单的门限机制(3)： s＝Fex(z,W)＝σ(g(z,W) )＝σ(W2δ(W1z))                 (3) 式中， δ表示ReLU激活函数， 和 为了限制模型的复杂度和帮助模型泛化， 把非线性周围的两个全连接层(FC)组成瓶颈 (bottleneck)结构来参数化门限机制， 块的最终输出是使用激活函数式(4)重新缩放变换 输出U得到的: 式中， Fscale(uc,sc)表示特征图 和标量sc的对应通道 的乘积； s这个激活函数的作用是根据输入特 征的描述符z来给每 个通道赋予权 重。 4.根据权利要求2所述的多模态身份识别方法， 其特 征在于： 步骤3具体如下： 分解双线性模型通过线性变换考虑每 个特征对： Zi＝xTWiy+bi                          (5) 其中x∈Rn和y∈Rm是来自手部和音频不同模态的输入特征 向量， Wi是权重矩阵， bi是偏 置量； 将权重矩阵Wi分解为两个低阶矩阵,即其中Wi＝UiViT， 其中Ui∈Rn×d和Vi∈Rm×d对维度d 施加约束d≤mi n(n,m)； 公式(5)可以进一 步改写为： Zi＝xTUiViTy+bi                         (6) 捕获两种异构模式之间的固有相关性， 公式(7)： 其中1∈Rd表示1的列向量， 而 表示Hadamard或逐 元素乘积； 为了获得输出特征向量z， 需要两个三阶张量： U＝[U1, …,UO]∈Rn×d×o和V＝[V1,…,Vo] ∈Rm×d×o； 用线性投影P∈Rd×o替换列向量， 向量z表示 为： 其中b∈Ro是偏差矢量； 在每个线性映射之后添加非线性激活函数， 向量z进一 步表示为： 其中σ 表示任意非线性激活函数， 设x和y分别代表手部注意向量和音频特征向量， 则x 的值都大于 0， 而y在[ ‑1， 1]的范围内； 进一步添加Relu函数以规范网络的输出， 最终向量z可以表示 为： 将成对的音频、 手部特 征输入融合模型， 在全连接层上通过softmax输出最终结果。权　利　要　求　书 2/3 页 3 CN 115188084 A 3