(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211018537.1 (22)申请日 2022.08.24 (71)申请人 陕西省君凯电子科技有限公司 地址 710000 陕西省西安市 浐灞生态区欧 亚大道西段6 66号欧亚国际C座12层 (72)发明人 张凯元　 (74)专利代理 机构 北京和信华成知识产权代理 事务所(普通 合伙) 11390 专利代理师 胡剑辉 (51)Int.Cl. G06Q 10/10(2012.01) G06Q 30/06(2012.01) G06V 10/82(2022.01) G06V 30/19(2022.01) G06V 30/42(2022.01) (54)发明名称 用于车辆租赁的基于图像和文本信息的智 能审核系统及其方法 (57)摘要 本申请公开了一种用于车辆租赁的基于图 像和文本信息的智能审核系统及其方法， 其通过 文本识别工具从由公司 出租方提供的执照图像 识别执照文本描述并通过包含嵌入层的上下文 编码器进行编码以得到执照文本理解特征向量， 通过作为过滤器的第一卷积神经网络对由所述 公司出租方提供的物品出租信息进行编码以得 到物品理解特征向量， 然后计算所述执照文本理 解特征向量相对于所述物品理解特征向量的转 移矩阵， 并使用多个全 连接层作为编码器对该转 移矩阵进行编码以得到分类特征向量， 接着对该 分类特征向量进行校正并通过分类器进行分类 以得到用于表示公司 出租方是否可以出租该物 品的分类结果。 权利要求书3页 说明书13页 附图5页 CN 115293747 A 2022.11.04 CN 115293747 A 1.一种用于车辆租赁的基于图像和文本信息的智能审核系统， 其特 征在于， 包括： 出租方执照数据采集模块， 用于获取由公司出租方提供的执照图像， 所述执照图像包 括营业执照图像和行业许 可证图像； 文本识别模块， 用于通过文本识别工具从所述执照图像识别执照文本描述； 执照文本理解模块， 用于对所述执照文本描述进行分词处理后通过包含嵌入层的上下 文编码器以得到执照文本理解特 征向量； 出租方物品数据采集模块， 用于获取由所述公司出租方提供的物品出租信息， 所述物 品出租信息包括物品信息、 交接方式和保险类型； 物品图像数据编码模块， 用于将所述物品出租信 息中的图像数据通过作为过滤器的第 一卷积神经网络以得到图像特 征向量； 物品其他数据编码模块， 用于将所述物品出租信 息中的文本数据和数字数据分别进行 嵌入向量 化以得到嵌入向量的序列； 物品全局理解模块， 用于将所述图像特征向量与 所述嵌入向量的序列进行合并后通过 基于转换器的上 下文编码器以得到物品理解特 征向量； 关联模块， 用于计算所述执照文本理解特征向量相对于所述物品理解特征向量的转移 矩阵； 投影模块， 用于使用多个全连接层作为编码器对所述转移矩阵进行全连接编码以将所 述转移矩阵投影为分类特 征向量； 校正模块， 用于对所述分类特 征向量进行 校正以得到校正后分类特 征向量； 以及 审核结果生成模块， 用于将所述校正后分类特征向量输入Softmax分类函数以得到分 类结果， 所述分类结果用于表示公司出租方 是否可以出租该物品。 2.根据权利要求1所述的用于车辆租赁的基于图像和文本信息的智能审核系统， 其特 征在于， 所述文本识别模块， 进一步用于以光学字符识别器作为所述文本识别工具从所述 执照图像识别所述执照文本描述。 3.根据权利要求2所述的用于车辆租赁的基于图像和文本信息的智能审核系统， 其特 征在于， 所述执照文本理解模块， 包括： 嵌入向量化单元， 用于使用所述上下文编码器的嵌入层将所述执照文本描述进行分词 处理后映射 为嵌入向量以获得嵌入向量的序列； 上下文语义关联编码单元， 用于使用所述上下文编码器的转换器对所述嵌入向量的序 列进行基于上 下位的全局语义编码以获得 执照文本理解特 征向量。 4.根据权利要求3所述的用于车辆租赁的基于图像和文本信息的智能审核系统， 其特 征在于， 所述物品图像数据编码模块， 进一步用于使用所述第一卷积神经网络的各层在层 的正向传递中分别对输入数据进 行基于卷积核的卷积处理、 池化处理和非线性激活处理以 由所述第一卷积神经网络的最后一层输出所述图像特征向量， 其中， 所述第一卷积神经网 络的第一层的输入为所述物品出租信息中的图像数据。 5.根据权利要求4所述的用于车辆租赁的基于图像和文本信息的智能审核系统， 其特 征在于， 所述关联模块， 用于以如下公式来计算所述执照文本理解特征向量相对于所述物 品理解特 征向量的转移 矩阵， 其中， 所述公式为：权　利　要　求　书 1/3 页 2 CN 115293747 A 2其中， 为所述转移矩阵， 所述执照文本理解特征向量 与所述物品理解特征向量 均为行向量。 6.根据权利要求5所述的用于车辆租赁的基于图像和文本信息的智能审核系统， 其特 征在于， 所述校正模块， 用于以如下公式来对所述分类特征向量进行校正以得到校正后分 类特征向量， 其中， 所述公式为： 其中， 为校正后分类特征向量， 是分类特征向量 的各个位置的特征值的均值， 且 表示点乘， 即向量的每 个位置的特 征值与预定值相乘。 7.根据权利要求6所述的用于车辆租赁的基于图像和文本信息的智能审核系统， 其特 征在于， 所述审核结果 生成模块， 进一 步用于： 使用所述分类器以如下公式对所述校正后分类特征向量进行处理以生成分类结果， 其 中， 所述公式为： ， 其中 表示所述校正后分类特征 向量， 至 为各层全连接层的权 重矩阵， 至 表示各层全连接层的偏置矩阵。 8.一种用于车辆租赁的基于图像和文本信息的智能审核方法， 其特 征在于， 包括： 获取由公司出租方提供的执照图像， 所述执照图像包括营业执照图像和行业许可证图 像； 通过文本识别工具从所述执照图像识别执照文本描述； 对所述执照文本描述进行分词处理后通过包含嵌入层的上下文编码器以得到执照文 本理解特 征向量； 获取由所述公司出租方提供的物品出租信息， 所述物品出租信息包括物品信息、 交接 方式和保险类型； 将所述物品出租信息中的图像数据通过作为过滤器的第一卷积神经网络以得到图像 特征向量； 将所述物品出租信息中的文本数据和数字数据分别进行嵌入向量化以得到嵌入向量 的序列； 将所述图像特征向量与所述嵌入向量的序列进行合并后通过基于转换器的上下文编 码器以得到物品理解特 征向量； 计算所述执照文本理解特 征向量相对于所述物品理解特 征向量的转移 矩阵； 使用多个全连接层作为编码器对所述转移矩阵进行全连接编码以将所述转移矩阵投 影为分类特 征向量； 对所述分类特 征向量进行 校正以得到校正后分类特 征向量； 以及 将所述校正后分类特征向量输入Softmax分类函数以得到分类结果， 所述分类结果用 于表示公司出租方 是否可以出租该物品。 9.根据权利要求8所述的用于车辆租赁的基于图像和文本信息的智能审核方法， 其特 征在于， 所述 通过文本识别工具从所述执照图像识别执照文本描述， 包括： 以光学字符识别器作为所述文本识别工具从所述执照图像识别所述执照文本描述。权　利　要　求　书 2/3 页 3 CN 115293747 A 3