(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211084284.8 (22)申请日 2022.09.06 (71)申请人 中国矿业大 学 地址 221116 江苏省徐州市铜山区大 学路 一号 (72)发明人 王军　徐家梦　潘在宇　袁海　 韩淑雨　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 朱沉雁 (51)Int.Cl. G06V 40/12(2022.01) G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 21/32(2013.01) (54)发明名称 一种基于掌纹掌静脉多模态融合的身份识 别方法 (57)摘要 本发明公开了一种基于掌纹掌静脉多模态 融合的身份识别方法， 涉及生物识别技术领域。 具体包括以下步骤： 对数据库中的手 掌图像设置 好配对标签， 属于同一个人的手掌图像标签设置 为1， 不同则标签设置为0； 构建初始掌纹和掌纹 的单模态识别网络并训练； 构建初始掌纹和掌静 脉的跨模态识别网络并训练； 通过训练好的掌纹 和掌纹的单模态识别网络、 训练好的掌纹和掌静 脉的跨模态识别网络构建初始整体识别网络并 训练。 本发 明创新性的提出了掌纹和掌纹的单模 态识别与掌纹和掌静脉的跨模态识别相结合的 混合式身份识别方法， 这种方法能提升很大的准 确度， 使匹配更接 近理想。 权利要求书5页 说明书6页 附图5页 CN 115439892 A 2022.12.06 CN 115439892 A 1.一种基于掌纹掌静脉多模态融合的身份识别方法， 其特 征在于， 包括以下步骤： 步骤1、 采集n个人的手掌图像， 每个人分别 采集2a幅掌纹图像和2a幅掌静脉图像， 建立 图像数据库， 并将数据库分为训练集和测试集， 训练集和测试集中的手掌图像数量比例为 1:1； 步骤2、 对训练集中的手掌图像设置好配对标签， 包括掌纹图像和掌纹图像的配对标签 M1、 掌纹图像和掌静脉图像的配对标签M2、 两张掌纹 图像和一张掌静脉图像的配对标签M， 属于同一个人 的手掌图像即 同一类别的手掌图像的配对标签设置为1， 不同类别的手掌图 像的配对标签设置为0； 步骤3、 对测试集中的手掌图像设置好配对标签， 包括两张掌纹图像和一张掌静脉图像 的配对标签N， 属于同一个人 的手掌图像即 同一类别的手掌图像的配对标签设置为1， 不同 类别的手掌图像的配对标签设置为0； 步骤4、 构建初始掌纹和掌纹的单模态识别网络， 利用初始掌纹和掌纹的单模态识别网 络输出的预测值 R1和与训练集中的掌纹图像和掌纹图像的配对标签M1之间的差异， 构建单 模态损失函数Lunimodal， 对初始掌纹和掌纹的单模态识别网络进行训练， 得到训练好的掌纹 和掌纹的单模态 识别网络； 步骤5、 构建初始掌纹和掌静脉的跨模态识别网络， 利用初始掌纹和掌静脉的跨模态识 别网络输出的预测值 R2与训练集中的掌纹图像和掌静脉图像的配对标签M2之间的差异， 构 建跨模态损失函数Lcrossmodal， 对初始掌纹和掌静脉的跨模态识别网络进行训练， 得到训练 好的掌纹和掌静脉的跨模态 识别网络； 步骤6、 根据训练好的掌纹和掌纹的单模态识别网络、 训练好的掌纹和掌静脉的跨模态 识别网络构建初始整体识别网络， 利用初始整体识别网络输出的预测值R与训练集中的两 张掌纹图像和一张掌静脉图像的配对标签M之间的差异， 构建整体损失函数Ltotal， 对初始整 体识别网络进行训练， 得到训练好的整体识别网络； 步骤7、 计算训练好的整体识别网络在测试集上的识别准确度。 2.根据权利要求1所述的一种基于掌纹掌静脉多模态融合的身份识别方法， 其特征在 于， 步骤1中， 采集n个人的手掌图像， 每个人分别采集2 a幅掌纹图像和2a幅掌静脉图像， 建 立图像数据库， 并将数据库分为训练集和测试集， 训练集和测试集中的手掌图像数量比例 为1:1， 具体如下： 采集n个人的手掌图像， 200<n<500， 每个人分别采集2a幅掌纹图像和2a幅掌静脉图像 10<a<40， 建立图像数据库， 并将数据库分为训练集和测试集， 训练集和测试集的手掌图像 数量比例为1:1， 训练集X＝[xp11,xp12,xp13…xpij； xv11,xv12,xv13…xvij]， 其中i表示人的编号， i＝1,2,3 …n， j表示采集的手 掌图像编号， j＝1,2,3 …a， p表示采集的掌纹图像， v表示采集 的掌静脉图像， xpij是训练集中第i个人的第j张掌纹图像， xvij是训练集中第i个人的第j张 掌静脉图像； 测试集Y＝[ yp11,yp12,yp13…ypij； yv11,yv12,yv13…yvij]， ypij是测试集 中第i个人 的第j张掌纹图像， yvij是测试集中第i个人的第j张掌静脉图像。 3.根据权利要求2所述的一种基于掌纹掌静脉多模态融合的身份识别方法， 其特征在 于， 步骤2中对训练集中的手掌图像设置好配对标签， 包括掌纹图像和掌纹图像的配对标签 M1、 掌纹图像和掌静脉图像的配对标签M2、 两张掌纹 图像和一张掌静脉图像的配对标签M， 属于同一个人 的手掌图像即 同一类别的手掌图像的配对标签设置为1， 不同类别的手掌图权　利　要　求　书 1/5 页 2 CN 115439892 A 2像的配对标签设置为0， 具体如下： 步骤2‑1、 对两张掌纹图像设置好配对标签M1， 首先设置正样本图像的配对标签， 从训 练集中随机抽取同一个人的两张掌纹图像， 标签设置为1， 即 i表示人的编号， i＝ 1,2,3…n， r， d均表示抽取的第i个人的两张掌纹图像的编号， r＝1,2,3 …a， d＝1,2,3 …a， r ≠d， 是随机抽取的第i个人的第r张掌纹图像， 是随机抽取的第i个人的第d张掌纹图 像； 设置好正样 本图像的配对标签后， 设置负样本图像的配对标签， 从训练集中随机抽取一 个人的一张掌纹图像， 再随机抽取另一个人 的一张掌纹图像， 两张掌纹图像不属于同一类 别， 标签设置为0， 即 i'表示人的编号， i'＝1,2,3 …n， i≠i'， 是随机抽取的第 i'个人的第d张掌纹图像； 步骤2‑2、 对掌纹图像和掌静脉图像设置好配对标签M2， 首先设置正样本图像的配对标 签， 从训练集中随机抽取一个人的一张掌纹图像和一张掌静脉图像， 标签设置为1， 即 是随机抽取的第i个人的第d张掌静脉图像； 设置好正样本图像的配对标签后， 设置负样本图像的配对标签， 从训练集中随机抽取一个人 的一张掌纹图像， 再随机抽取另 一个人的一张掌静脉图像， 两张手掌图像不属于同一类别， 标签设置为0， 即 是随机抽取的第i'个人的第d张掌静脉图像； 步骤2‑3、 对两张掌纹图像和一张掌静脉图像设置好配对标签M， 首先设置正样本图像 的配对标签， 从训练集中随机抽取一个人 的两张掌纹图像和一张掌静脉图像， 三张手掌图 像属于同一个人即同一类别， 标签设置为1， 即 其中σ， μ均表示抽取的第i个人 的掌纹图像的编号， γ表示抽取的第i个人的掌静脉图像的编号， σ ＝1,2,3 …a， μ＝1,2,3 … a， γ＝1,2,3 …a， σ ≠ μ， 是随机抽取的第i个人的σ 张掌纹图像， 是随机抽取的第i个人 的第 μ张掌纹图像， 是随机抽取的第i个人的第γ张掌静脉图像； 设置好正样本图像的配 对标签后， 设置负样本图像的配对标签， 从训练集中随机抽取不属于同一个人 的两张掌纹 图像和一张掌静脉图像， 标签设置为0， 即 i”表 示人的编号， i ”＝1,2,3…n， i≠i'≠i ”， 是随机抽取的第i'个人的第 μ张掌纹图像， 是 随机抽取的第i ”个人的第γ张掌静脉图像。 4.根据权利要求3所述的一种基于掌纹掌静脉多模态融合的身份识别方法， 其特征在 于， 步骤3中对测试集中的手掌图像设置好配对标签， 包括两张掌纹图像和一张掌静脉图像 的配对标签N， 属于同一个人 的手掌图像即 同一类别的手掌图像的配对标签设置为1， 不同 类别的手掌图像的配对标签设置为0， 具体如下： 对两张掌纹图像和一张掌静脉图像设置好配对标签N， 首先是正样本图像的配对标签， 从测试集中随机抽取一个人的两张掌纹图像和一张掌静脉图像， 三张手掌图像属于同一类 别， 标签设置为1， 即 i表示人的编号， i＝1,2,3 …n， σ， μ均表示抽取的第i个人 的掌纹图像的编 号， γ表示抽取的第 i个人的掌静脉图像的编 号， σ ≠ μ， 表示随机抽取的 第i个人的第σ 张掌纹图像， 表示随机抽取的第i个人的第 μ张掌纹图像， 表示表示随机 抽取的第i个人的第γ张掌静脉图像； 设置好正样本图像的配对标签后， 设置负样本图像的权　利　要　求　书 2/5 页 3 CN 115439892 A 3