(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211338215.5 (22)申请日 2022.10.28 (71)申请人 平安银行股份有限公司 地址 518000 广东省深圳市罗湖区深南 东 路5047号 (72)发明人 曹圳杰　常鹏　朱益兴　李飞　 林星凯　朱恩东　王步青　赖众程　 黎利　 (74)专利代理 机构 广东良马律师事务所 4 4395 专利代理师 钟有为 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于图像识别的客户信息分析方法、 装置、 系统及介质 (57)摘要 本发明公开了基于图像识别的客户信息分 析方法、 装置、 系统及介质， 方法包括： 获取待分 析的客户图像； 对客户图像进行人脸检测， 得到 人脸检测图像； 将人脸检测图像输入至预先训练 好的信息分析模 型中进行客户信息分析， 信息分 析模型包括人脸特征提取网络、 微表情提取网络 和分类输 出网络； 根据信息分析模 型输出的分析 结果展示相应的资产标识。 通过对客户图像进行 人脸检测， 并基于预先训练好的分析模 型人脸特 征和微表情特征进行多模态的客户信息分析， 从 而对客户的资产信息进行高效客观的预测分析， 直观展示预测得到的资产标识， 提高客户信息分 析的效率和准确性， 为确认潜在客户提供可靠数 据基础。 权利要求书2页 说明书9页 附图3页 CN 115497152 A 2022.12.20 CN 115497152 A 1.一种基于图像识别的客户信息分析 方法， 其特 征在于， 包括： 获取待分析的客户图像； 对所述客户图像进行 人脸检测， 得到人脸检测图像； 将所述人脸检测图像输入至预先训练好的信 息分析模型中进行客户信 息分析， 所述信 息分析模型包括人脸特 征提取网络、 微表情提取网络和分类输出网络； 根据所述信息分析模型输出的分析 结果展示相应的资产标识。 2.根据权利要求1所述的基于图像识别的客户信 息分析方法， 其特征在于， 所述对所述 客户图像进行 人脸检测， 得到人脸检测图像， 包括： 根据预设人脸检测算法对所述 客户图像进行 人脸检测， 添加相应的人脸检测框； 根据所述人脸检测框对所述 客户图像进行区域裁 剪， 得到人脸检测图像。 3.根据权利要求1所述的基于图像识别的客户信 息分析方法， 其特征在于， 所述对所述 客户图像进行 人脸检测， 得到人脸检测图像之后， 所述方法还 包括： 对所述人脸检测图像进行 预处理。 4.根据权利要求1所述的基于图像识别的客户信 息分析方法， 其特征在于， 所述将所述 人脸检测图像输入至预 先训练好的信息分析模型中进行客户信息分析， 包括： 通过所述人脸特 征提取网络提取 所述人脸检测图像中的人脸深度特 征； 通过所述微表情提取网络提取 所述人脸检测图像中的微表情特 征； 通过所述分类输出网络基于所述人脸深度特征和所述微表情特征的融合特征进行资 产预测分析， 输出分析 结果。 5.根据权利要求4所述的基于图像识别的客户信 息分析方法， 其特征在于， 所述分类输 出网络包括多层感知机、 池化层和全连接层， 所述通过所述分类输出网络基于所述人脸深 度特征和所述 微表情特 征的融合特 征进行资产预测分析， 输出分析 结果， 包括： 将所述人脸深度 特征和所述微表情特征输入至所述多层感知机中进行特征对齐处理， 输出融合特 征； 将所述融合特 征输入至所述池化层进行降维处 理， 输出一维特 征； 通过所述全连接层对所述 一维特征进行资产预测， 得到不同资产类型的预测概 率； 将预测概 率最高的资产类型输出为目标资产类型。 6.根据权利要求5所述的基于图像识别的客户信 息分析方法， 其特征在于， 所述根据 所 述信息分析模型输出的分析 结果展示相应的资产标识， 具体包括： 采集客户的视频流， 在所述视频流上 添加所述目标资产类型的资产标识后进行展示。 7.根据权利要求1 ‑6任意一项所述的基于图像识别的客户信 息分析方法， 其特征在于， 所述人脸特 征提取网络为基于DenseNet的卷积神经网络 。 8.根据权利要求1 ‑6任意一项所述的基于图像识别的客户信 息分析方法， 其特征在于， 所述微表情提取网络采用局部二 值模式算子进行图像的纹 理特征提取。 9.一种基于图像识别的客户信息分析装置， 其特 征在于， 包括： 获取模块， 用于获取待分析的客户图像； 人脸检测模块， 用于对所述 客户图像进行 人脸检测， 得到人脸检测图像； 信息分析模块， 用于将所述人脸检测图像输入至预先训练好的信 息分析模型中进行客 户信息分析， 所述信息分析模型包括人脸特 征提取网络、 微表情提取网络和分类输出网络；权　利　要　求　书 1/2 页 2 CN 115497152 A 2展示模块， 用于根据所述信息分析模型输出的分析 结果展示相应的资产标识。 10.一种基于图像识别的客户信 息分析系统， 其特征在于， 所述系统包括至少一个处理 器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑8任一项所述的基于图像识别的 客户信息分析 方法。 11.一种非易失性计算机可读存储介质， 其特征在于， 所述非易失性计算机可读存储介 质存储有计算机可执行指令， 该计算机可执行指令被一个或多个处理器执行时， 可使得所 述一个或多个处 理器执行权利要求1 ‑8任一项所述的基于图像识别的客户信息分析 方法。权　利　要　求　书 2/2 页 3 CN 115497152 A 3