(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211091963.8 (22)申请日 2022.09.07 (65)同一申请的已公布的文献号 申请公布号 CN 115186119 A (43)申请公布日 2022.10.14 (73)专利权人 深圳市华曦达科技股份有限公司 地址 518057 广东省深圳市南 山区粤海街 道高新区社区科技南十二路18号长虹 科技大厦1901 (72)发明人 陈京华　王旭辉　 (74)专利代理 机构 北京惟盛达知识产权代理事 务所(普通 合伙) 11855 专利代理师 陈钊 (51)Int.Cl. G06F 16/51(2019.01)G06F 16/53(2019.01) G06F 16/73(2019.01) G06F 16/951(2019.01) G06F 21/60(2013.01) G06F 21/62(2013.01) G06N 20/00(2019.01) (56)对比文件 CN 113868447 A,2021.12.31 CN 114697318 A,202 2.07.01 CN 113743515 A,2021.12.0 3 CN 113516592 A,2021.10.19 CN 110321957 A,2019.10.1 1 CN 108062421 A,2018.0 5.22 WO 2020071216 A1,2020.04.09 审查员 陈曦 (54)发明名称 基于图文 结合的图片处理方法、 系统和可读 存储介质 (57)摘要 本发明公开的一种基于图文结合的图片处 理方法、 系统和可读存储介质， 其中方法包括： 基 于预设的深度学习网络添加图片元数据得到图 文数据库， 其中， 对于所述图片元数据的处理包 括： 获取所述图片元数据的预设编辑区域内的主 动编辑数据进行加密和/或只读保护， 并对所述 主动编辑数据进行存储； 通过网站爬虫和公共语 义数据库连接， 补充预设模型对 所述图片元数据 进行对抗学习以完善语义描述 以及图像特征表 述； 获取用户检索关键字， 基于所述图文数据库 利用所述检索关键字进行检索以得到用户所需 图片并输出给用户。 本发明可以处理比如视频、 图片更深度地检索， 解决多用户时大量数据生成 和检索的计算问题， 方便用户检查对应图片文件 内容的情况。 权利要求书2页 说明书10页 附图2页 CN 115186119 B 2022.12.06 CN 115186119 B 1.一种基于图文结合的图片处 理方法， 其特 征在于， 包括以下步骤： 基于预设的深度学习 网络添加图片元数据得到 图文数据库， 其中， 对于所述图片元数 据的处理包括： 获取所述图片元数据的预设编辑区域内的主动编辑数据进行加密和/或只读保护， 并 对所述主动 编辑数据进行存 储； 通过网站爬虫和公共语义数据库 连接， 补充预设模型对所述图片元数据进行对抗学习 以完善语义描述以及图像特 征表述； 获取用户检索关键字， 基于所述图文数据库利用所述检索 关键字进行检索以得到用户 所需图片并输出 给用户； 其中， 所述基于预设的深度学习网络添加图片元 数据得到图文数据库， 具体包括： 基于预设的深度 学习网络对图片进行深度 学习， 结合所述图片元数据得到目标数据段 以及图像光学特征向量数据库， 其中， 所述目标数据段包括以文字描述的图像景物描写、 情 节描写以及动作语义； 基于所述目标数据段以及所述图像光学特征向量数据库得到所述图文数据库， 并建立 图片格式的映射关系； 其中， 所述通过网站爬虫和公共语义数据库连接， 补充预设模型对所述图片元数据进 行对抗学习以完 善语义描述以及图像特 征表述， 具体包括： 通过网站爬虫和公共语义数据库 连接， 补充所述预设模型对所述图片元数据进行再学 习以提供 所述对抗学习； 根据所述对抗学习后的权重比完善语义描述以及图像特征表述， 并在出现相似度指标 时， 对所述图片元 数据关联一个参 考标记。 2.根据权利要求1所述的一种基于图文结合的图片处理方法， 其特征在于， 所述获取所 述图片元数据的预设编辑区域内的主动编辑数据进行加密和/或只读保护， 并对所述主动 编辑数据进行存 储， 具体包括： 基于所述图片元数据对应的所述预设编辑区域获取所述主动编辑数据， 其中， 所述主 动编辑数据由人工预 先进行编辑 填入对应的所述预设编辑区域； 基于所述主动编 辑数据对语义描述以及图像特征表述进行补充， 并对所述主动编辑数 据加密和/或只读保护， 存 储的方式包括云端离线下 载和/或本地下 载。 3.根据权利要求1所述的一种基于图文结合的图片处理方法， 其特征在于， 所述方法还 包括从视频 数据中获取图文数据库， 具体包括： 基于所述视频数据采集视频中的语义数据， 其中， 所述语义数据包括自带语义以及情 绪语义； 若所述视频 数据为公共网站上的视频， 则从关联的网页、 弹幕中采集语义描述信息； 基于每个视频关键帧结合所述语义描述信 息获取所述视频关键帧对应的图文数据， 以 得到所述图文数据库， 其中， 所述图文数据包括所述视频关键帧对应的文字和图片。 4.根据权利要求3所述的一种基于图文结合的图片处理方法， 其特征在于， 所述方法还 包括利用预设的 朗读装置对从视频文件中获取的所述图文数据进行多媒体 类型朗读。 5.一种基于图文结合的图片处理系统， 其特征在于， 包括存储器和处理器， 所述存储器 中包括基于图文 结合的图片处理方法程序， 所述基于图文 结合的图片处理方法程序被所述权　利　要　求　书 1/2 页 2 CN 115186119 B 2处理器执行时实现如下步骤： 基于预设的深度学习 网络添加图片元数据得到 图文数据库， 其中， 对于所述图片元数 据的处理包括： 获取所述图片元数据的预设编辑区域内的主动编辑数据进行加密和/或只读保护， 并 对所述主动 编辑数据进行存 储； 通过网站爬虫和公共语义数据库 连接， 补充预设模型对所述图片元数据进行对抗学习 以完善语义描述以及图像特 征表述； 获取用户检索关键字， 基于所述图文数据库利用所述检索 关键字进行检索以得到用户 所需图片并输出 给用户； 其中， 所述基于预设的深度学习网络添加图片元 数据得到图文数据库， 具体包括： 基于预设的深度 学习网络对图片进行深度 学习， 结合所述图片元数据得到目标数据段 以及图像光学特征向量数据库， 其中， 所述目标数据段包括以文字描述的图像景物描写、 情 节描写以及动作语义； 基于所述目标数据段以及所述图像光学特征向量数据库得到所述图文数据库， 并建立 图片格式的映射关系； 其中， 所述通过网站爬虫和公共语义数据库连接， 补充预设模型对所述图片元数据进 行对抗学习以完 善语义描述以及图像特 征表述， 具体包括： 通过网站爬虫和公共语义数据库 连接， 补充所述预设模型对所述图片元数据进行再学 习以提供 所述对抗学习； 根据所述对抗学习后的权重比完善语义描述以及图像特征表述， 并在出现相似度指标 时， 对所述图片元 数据关联一个参 考标记。 6.根据权利要求5所述的一种基于图文结合的图片处理系统， 其特征在于， 所述获取所 述图片元数据的预设编辑区域内的主动编辑数据进行加密和/或只读保护， 并对所述主动 编辑数据进行存 储， 具体包括： 基于所述图片元数据对应的所述预设编辑区域获取所述主动编辑数据， 其中， 所述主 动编辑数据由人工预 先进行编辑 填入对应的所述预设编辑区域； 基于所述主动编 辑数据对语义描述以及图像特征表述进行补充， 并对所述主动编辑数 据加密和/或只读保护， 存 储的方式包括云端离线下 载和/或本地下 载。 7.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中包括一种基于 图文结合的图片处理方法程序， 所述基于图文结合的图片处理方法程序被处理器执行时， 实现如权利要求1至4中任一项所述的一种基于图文结合的图片处 理方法的步骤。权　利　要　求　书 2/2 页 3 CN 115186119 B 3