(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210587252.3
(22)申请日 2022.05.26
(71)申请人 平安普惠企业管理有限公司
地址 518000 广东省深圳市前海深港合作
区前湾一路1号A栋201室 (入驻深圳市
前海商务秘书 有限公司)
(72)发明人 颜青玲
(74)专利代理 机构 深圳市明日今典知识产权代
理事务所(普通 合伙) 44343
专利代理师 王杰辉 曹勇
(51)Int.Cl.
G06V 40/20(2022.01)
G06V 10/74(2022.01)
G06K 9/62(2022.01)
G06F 16/33(2019.01)
(54)发明名称
手语转译的方法、 装置、 计算机设备及存储
介质
(57)摘要
本申请涉及人工智能技术领域, 特别是涉及
到一种手语转译的方法、 装置、 计算机设备及存
储介质, 所述方法包括如下步骤: 获取手语手势
的图像数据; 对所述图像数据切片处理, 得到所
述图像数据中的关键帧; 将所述 关键帧与标准手
语手势关键帧进行比对, 确定所述手语手势的词
义; 基于字符串拼接技术将所述词义进行连接,
得到所述手语手势的句意信息; 通过预设通道向
对应用户播放所述句意信息。 本申请基于对手语
转译, 解决与听障人士交流障碍的问题。
权利要求书2页 说明书10页 附图5页
CN 114898468 A
2022.08.12
CN 114898468 A
1.一种手 语转译的方法, 其特 征在于, 所述方法包括:
获取手语手势的图像数据;
对所述图像数据切片处 理, 得到所述图像数据中的关键帧;
将所述关键帧与标准手 语手势关键帧进行比对, 确定所述手 语手势的词义;
基于字符串拼接技 术将所述词义进行 连接, 得到所述手 语手势的句意信息;
通过预设通道向对应用户播 放所述句意信息 。
2.根据权利要求1所述的手语转译的方法, 其特征在于, 所述对所述图像数据切片处
理, 得到所述图像数据中的关键帧, 包括:
对所述图像数据进行 预处理, 得到预处 理图像数据;
对所述预处 理图像数据切片处 理, 得到所述图像数据中的关键帧。
3.根据权利要求1所述的手语转译的方法, 其特征在于, 所述将所述关键帧与标准手语
手势关键帧进行比对, 确定所述手 语手势的词义, 包括:
读取标准手语手势关键帧;
将所述关键帧与所述标准手语手势关键帧进行比对, 得到与 所述关键帧相似度最高的
标准手语手势关键帧;
根据与所述关键帧相似度最高的标准手语手势关键帧的词义信息确定所述手语手势
的词义。
4.根据权利要求1所述的手语转译的方法, 其特征在于, 所述基于字符串拼接技术将所
述词义进行 连接, 得到所述手 语手势的句意信息, 包括:
将所述词义按照所述手 语手势先后顺序进行排序, 得到具有连接顺序的词义信息;
基于字符串拼接技 术将所述词义信息进行 连接, 得到所述手 语手势的句意信息 。
5.根据权利要求1所述的手语转译的方法, 其特征在于, 所述通过预设通道向对应用户
播放所述句意信息, 包括:
根据所述句意信 息生成语音播放信 息, 并通过预设音箱将所述语音播放信 息播放至对
应用户。
6.根据权利要求5所述的手语转译的方法, 其特征在于, 所述根据 所述句意信 息生成语
音播放信息, 并通过 预设音箱将所述语音播 放信息播 放至对应用户之后, 还 包括:
获取语音数据;
将所述语音数据转译为文本信息;
对所述文本信息进行处 理, 得到处 理文本;
将所述处理文本与 标准手语手势图像进行匹配, 确定所述处理文本的目标手语手势图
像;
基于图像拼接技术将所述目标手语手势图像按照所述语音数据的语义顺序进行连接,
得到所述语音数据的标准手 语手势图像信息;
根据所述标准手语手势图像信 息生成三维手语视频, 并通过预设屏幕将所述三维手语
视频播放至对应用户。
7.根据权利要求6所述的手语转译的方法, 其特征在于, 所述根据 所述标准手语手势图
像信息生成三维手语视频, 并通过预设屏幕将所述三维手语视频播放至对应用户之后, 还
包括:权 利 要 求 书 1/2 页
2
CN 114898468 A
2在交互过程中, 将句意信息和标准手语手势图像信息关联分析, 得到所述句意信息和
所述标准手 语手势图像信息间的关联关系;
根据所述关联关系中的交互信 息实时对所述句意信 息和/或所述标准手语手势图像信
息进行校验, 得到修正的目标句意信息和/或目标手语手势图像信息, 并输出所述目标句意
信息和所述目标手 语手势图像信息 。
8.一种手 语转译的装置, 其特 征在于, 所述装置包括:
读取数据模块, 用于获取手 语手势的图像数据;
图像处理模块, 用于对所述图像数据切片处 理, 得到所述图像数据中的关键帧;
获取词义模块, 用于将所述关键帧与标准手语手势关键帧进行比对, 确定所述手语手
势的词义;
拼接词义模块, 用于基于字符串拼接技术将所述词义进行连接, 得到所述手语手势 的
句意信息;
传输转译模块, 用于通过 预设通道向对应用户播 放所述句意信息 。
9.一种计算机设备, 包括存储器和处理器, 所述存储器存储有计算机程序, 其特征在
于, 所述处理器执行所述计算机程序时实现权利要求 1至7中任一项 所述手语转译的方法的
步骤。
10.一种计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算机程序
被处理器执行时实现权利要求1至7中任一项所述手 语转译的方法的步骤。权 利 要 求 书 2/2 页
3
CN 114898468 A
3
专利 手语转译的方法、装置、计算机设备及存储介质
文档预览
中文文档
18 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共18页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-18 22:32:51上传分享