(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210672470.7 (22)申请日 2022.06.15 (71)申请人 上海传英信息技 术有限公司 地址 201203 上海市浦东 新区自由贸易试 验区学林路3 6弄1号楼1层 (72)发明人 曹慧静　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 杨文娟　臧建明 (51)Int.Cl. G10L 15/22(2006.01) G10L 15/25(2013.01) G10L 15/26(2006.01) G10L 15/16(2006.01) G10L 25/51(2013.01)G10L 25/30(2013.01) G10L 15/20(2006.01) G06F 16/783(2019.01) G06F 40/194(2020.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 40/16(2022.01) (54)发明名称 处理方法、 智能终端及存 储介质 (57)摘要 本申请提出了一种处理方法、 智能终端及存 储介质， 包括以下步骤： 获取音频数据信息和/或 图像帧数据信息； 将音 频数据信息输入至预设的 音频识别模型中， 输出第一文本数据信息； 将图 像帧数据信息输入至预设的唇部识别模型中， 输 出第二文本数据信息； 根据第一文本数据信息和 第二文本 数据信息， 确定或生 成第三文本数据信 息。 通过上述技术方案， 能够实现在嘈杂的环境 中也能够识别出音频信息， 进而提高语音识别的 准确率。 权利要求书2页 说明书12页 附图3页 CN 114974246 A 2022.08.30 CN 114974246 A 1.一种处 理方法， 其特 征在于， 包括以下步骤： S201： 获取音频 数据信息和/或图像帧数据信息； S202： 将所述音频 数据信息 输入至预设的音频识别模型中， 输出第一文本数据信息； S203： 将所述图像帧数据信息 输入至预设的唇部识别模型中， 输出第二文本数据信息； S204： 根据所述第一文本数据信息和/或所述第二文本数据信息， 确定或生成第三文本 数据信息 。 2.根据权利要求1所述的方法， 其特 征在于， 所述S20 3步骤， 包括： 识别所述图像帧数据信 息中用户的第 一唇部轮廓， 确定或生成标注了所述第 一唇部轮 廓的标注图像； 将所述标注图像输入至所述预设的唇部识别模型中， 输出 所述第二文本数据信息 。 3.根据权利要求2所述的方法， 其特征在于， 将所述标注图像输入至所述预设的唇部识 别模型中， 输出 所述第二文本数据信息， 包括： 基于所述预设的唇部识别模型对所述标注图像进行相似度匹配， 得到与所述标注图像 匹配的至少一张待确定或生成图像； 基于所述预设的唇部识别模型， 在至少一张所述待确定或生成图像中确定或生成出相 似度最高的标注图像， 将所述相似度最高的标注图像作为匹配图像； 基于所述预设的唇部识别模型， 将与所述匹配图像对应的预设的文本数据信 息作为所 述第二文本数据信息 输出。 4.根据权利要求3所述的方法， 其特征在于， 基于所述预设的唇部识别模型对所述标注 图像进行相似度匹配， 得到与所述标注图像匹配的至少一张待确定或生成图像， 包括： 基于所述预设的唇部识别模型， 将所述标注图像中的第 一唇部轮廓与图像库中预设图 像的第二唇部轮廓进行相似度匹配； 在所述预设图像中确定或生成出与所述标注图像匹配的至少一张待确定或生成图像。 5.根据权利要求1至4中任一项所述的方法， 其特 征在于， S204 步骤包括： 计算或确定所述第一文本数据信息的第一相似度数值和所述第二文本数据信息的第 二相似度数值的差值， 得到 差值结果； 根据所述差值结果， 确定或生成第三文本数据信息 。 6.根据权利要求5所述的方法， 其特征在于， 根据所述差值结果， 确定或生成第三文本 数据信息， 包括： 若所述差值结果大于阈值， 则将所述第二文本数据信息作为所述第三文本数据信息； 和/或， 若所述差值结果小于或等于 阈值， 则将所述第 一文本数据信 息作为所述第 三文本数据 信息。 7.根据权利要求1至4中任一项所述的方法， 其特 征在于， 还 包括： 获取智能终端的噪音信息； 若所述噪音信息高于阈值， 则启动所述智能终端的摄录功能， 按照预设的频率同步获 取音频数据信息和/或图像帧数据信息 。 8.根据权利要求7所述的方法， 其特征在于， 在启动所述智能终端的摄录功能之后， 还 包括：权　利　要　求　书 1/2 页 2 CN 114974246 A 2获取所述智能终端的光照信息； 若所述光照信息低于阈值， 则启动所述智能终端的闪光灯。 9.一种智能终端， 其特征在于， 所述智能终端包括： 存储器、 处理器， 可选地， 所述存储 器上存储有程序， 所述程序被所述处理器执行时实现如权利要求 1至8中任一项 所述的处理 方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质上存储有计算机程序， 所述 计算机程序被处 理器执行时实现如权利要求1至8中任一项所述的处 理方法的步骤。权　利　要　求　书 2/2 页 3 CN 114974246 A 3