(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211077788.7 (22)申请日 2022.09.05 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 于聪　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 赵春华 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 20/40(2022.01) G06V 10/74(2022.01)G10L 15/22(2006.01) G10L 15/06(2013.01) (54)发明名称 一种信息录入方法及 装置、 存储介质及电子 设备 (57)摘要 本发明提供了一种信息录入方法及装置、 存 储介质及电子设备， 可应用于 金融领域或其他领 域， 其中， 可 以先通过智 能柜台端的摄像头采集 用户视频， 并通过智能柜台端的录音设备采集用 户语音信息； 利用预先构建的神经网络模型对所 述用户视频中的各视频帧进行处理， 获得所述用 户视频中的人脸信息； 并利用预先训练好的语音 识别模型对 所述用户语音信息进行语音识别， 获 得语音识别结果； 判断所述人脸信息与所述信息 录入指令对应的用户的标准人脸信息是否匹配； 若所述人脸信息与所述标准人脸信息匹配， 则在 所述智能柜台端的显示界面的信息录入框中显 示所述语音识别结果。 能够实现无接触录入信 息， 提高信息 录入效率， 提升用户满意度。 权利要求书2页 说明书7页 附图3页 CN 115424328 A 2022.12.02 CN 115424328 A 1.一种信息 录入方法， 其特 征在于， 应用于智能柜台端， 所述方法包括： 响应于信息录入指令， 通过所述智能柜台端的摄像头采集用户视频， 并通过所述智能 柜台端的录音设备采集用户语音信息； 利用预先构建的神经网络模型对所述用户视频中的各视频帧进行处理， 获得所述用户 视频中的人脸信息； 并利用预先训练好的语音识别模型对所述用户语音信息进行语音识 别， 获得语音识别结果； 判断所述人脸信息与所述信息 录入指令对应的用户的标准人脸信息是否匹配； 若所述人脸信 息与所述标准人脸信 息匹配， 则在所述智能柜台端的显示界面的信 息录 入框中显示所述语音识别结果。 2.根据权利要求1所述的方法， 其特 征在于， 构建神经网络模型的过程， 包括： 获取初始神经网络模型以及训练数据集； 所述训练数据集包括多个历史用户图片； 应用预设的生成对抗网络对所述训练数据集中的每个所述历史用户图片进行数据增 强， 获得目标训练数据集； 利用所述目标训练数据集对所述初始神经网络模型进行训练， 获得神经网络模型。 3.根据权利要求1所述的方法， 其特征在于， 所述利用预先构建的神经网络模型对所述 用户视频中的各视频帧进行处 理， 获得所述用户视频中的人脸信息， 包括： 通过预先构建神经网络模型的特征提取模块提取所述用户视频中的每一视频帧的视 频帧空间特 征和时间特 征， 通过预先构建神经网络模型的输出模块基于各个所述视频帧的视频帧空间特征和时 间特征， 输出所述用户视频的人脸信息 。 4.根据权利要求1所述的方法， 其特征在于， 所述判断所述人脸信 息与所述业务办理指 令对应的客户的标准人脸信息是否匹配， 包括： 计算所述人脸信息与所述 业务办理指令对应的客户的标准人脸信息的相似度； 在所述人脸信 息与所述标准人脸信 息的相似度大于预设的相似度阈值的情况下， 确定 所述人脸信息与所述标准人脸信息匹配； 在所述人脸信 息与所述标准人脸信 息的相似度不大于预设的相似度阈值的情况下， 确 定所述人脸信息与所述标准人脸信息不匹配。 5.根据权利要求1所述的方法， 其特征在于， 所述在所述智能柜台端的显示界面的信 息 录入框中显示所述语音识别结果之后， 还 包括： 当接收到信 息确认指令时， 根据所述语音识别结果为所述用户办理所述信 息录入框对 应的业务。 6.一种信息 录入装置， 其特 征在于， 应用于智能柜台端， 所述装置包括： 采集单元， 用于响应于信 息录入指令， 通过所述智能柜台端的摄像头采集用户视频， 并 通过所述智能柜台端的录音设备采集用户语音信息； 执行单元， 用于利用预先构建的神经网络模型对所述用户视频中的各视频帧进行处 理， 获得所述用户视频中的人脸信息； 并利用预先训练好的语音识别模型对所述用户语音 信息进行语音识别， 获得语音识别结果； 判断单元， 用于判断所述人脸信 息与所述信 息录入指令对应的用户的标准人脸信 息是 否匹配；权　利　要　求　书 1/2 页 2 CN 115424328 A 2显示单元， 用于若所述人脸信息与所述标准人脸信息匹配， 则在所述智能柜台端的显 示界面的信息 录入框中显示所述语音识别结果。 7.根据权利要求6所述的装置， 其特 征在于， 所述执 行单元， 包括： 获取子单元， 用于获取初始神经网络模型以及训练数据集； 所述训练数据集包括多个 历史用户图片； 执行子单元， 用于应用预设的生成对抗网络对所述训练数据集中的每个所述历史用户 图片进行 数据增强， 获得目标训练数据集； 训练子单元， 用于利用所述目标训练数据集对所述初始神经网络模型进行训练， 获得 神经网络模型。 8.根据权利要求6所述的装置， 其特 征在于， 所述执 行单元， 包括： 特征提取单元， 用于通过预先构建神经网络模型的特征提取模块提取所述用户视频中 的每一视频帧的视频帧空间特 征和时间特 征， 输出单元， 用于通过预先构建神经网络模型的输出模块基于各个所述视频帧的视频帧 空间特征和时间特 征， 输出所述用户视频的人脸信息 。 9.一种存储介质， 其特征在于， 所述存储介质包括存储指令， 其中， 在所述指令运行时 控制所述存 储介质所在的设备 执行如权利要求1～5任意 一项所述的信息 录入方法。 10.一种电子设备， 其特征在于， 包括存储器， 以及一个或者一个以上的指令， 其中一个 或一个以上指 令存储于存储器中， 且经配置以由一个或者一个以上处理器执行如权利要求 1～5任意 一项所述的信息 录入方法。权　利　要　求　书 2/2 页 3 CN 115424328 A 3