(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210754057.5 (22)申请日 2022.06.30 (71)申请人 济南大学 地址 250000 山东省济南市 市中区南 辛庄 西路336号 (72)发明人 冯志全　王鸿岳　 (74)专利代理 机构 北京中索 知识产权代理有限 公司 11640 专利代理师 邹长斌 (51)Int.Cl. G06F 3/01(2006.01) G06K 9/62(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 20/00(2022.01) (54)发明名称 一种多模态融合的智能手套系统 (57)摘要 本发明公开了一种多模态融合的智能手套 系统， 涉及人工智能技术领域， 包括输入层、 识别 层、 融合层和交互层， 所述输入层包括视觉通道、 传感器通道和语音通道， 所述的识别层分别采用 基于YOLOv5的视觉通道意图概率获取算法、 基于 欧氏距离传感器通道意图概率获取算法和基于 余弦相似度匹配的语音通道意图概率获取算法 来分别获取视觉通道、 传感器通道和语音通道的 实验意图， 所述的融合层采用多模态融合算法来 融合用户多通道意图信息。 本发 明能够更好识别 用户意图并进行交互， 利用智能手套手腕处的视 觉通道对场景信息进行了无遮挡的实时感知， 改 进了传统TMFA算法串行处理模态信息的不足的 问题。 权利要求书3页 说明书9页 附图1页 CN 114816077 A 2022.07.29 CN 114816077 A 1.一种多模态融合的智能手套系统， 包括输入层、 识别层、 融合层和 交互层， 所述输入 层包括视觉通道、 传感器通道和语音通道， 其特征在于， 所述的识别层分别采用基于Y OLOv5 的视觉通道意图概率 获取算法、 基于欧氏距离传感器通道意图概率 获取算法和基于余弦相 似度匹配的语音通道 意图概率获取算法来分别获取视觉通道、 传感器通道和语音通道的实 验意图， 所述的融合层采用多模态融合 算法来融合用户多通道意图信息 。 2.根据权利要求1所述的一种多模态融合的智能手套系统， 其特征在于， 所述的基于 YOLOv5的视 觉通道意图概 率获取算法包括以下步骤： 输入： 智能手套的单目摄像头在当前场景下捕获的物体集合 ， 获取坐标函数 ， 计算识别物体包围盒的面积函数 ； 输出： 视觉通道下实验意图集 合 ； （1） 智能手套 进行场景识别， 获取当前场景 下存在的实验物体集 合 （2） 利用YOLOv5获取智能手套在第 帧下物体集合 中所有实验物体的包围盒的输出 坐标 ， （3） 当智能手套移动时， YOL Ov5获取第 帧下物体集合 中所有实验物 体的包围盒 的输出坐标 ， （4） 计算第t帧下物体 的面积, （5） 计算两帧之间物体集 合 中物体 的面积增量, （6） 通过计算物体集合 中物体 的面积增量与当前场景下所有物体的面积增量的 和之比， 就可以获得用户在当前实验过程中想要操作的实验物品： （7） 在视觉通道下， 不同的实验物品对应有不同的实验意图， 将步骤6中求得的概率映 射到相应的实验意图中， 获得视 觉通道下实验步骤概 率集合 ：  。 3.根据权利要求1所述的一种 多模态融合的智能手套系统， 其特征在于， 所述的基于欧 氏距离传感器通道意图概 率获取算法包括以下步骤： 输入： 指尖压力阈值 ， 弯曲度值 ， 压力值向量组 ， 弯曲度值向量组 ， 姿态传感器产生的旋转角度 和移动速度 ， 动作库 ， 向量化函数 ， 映射 函数 ， 距离计算 函数 ； 输出： 传感器通道下实验意图概 率集合 ；权　利　要　求　书 1/3 页 2 CN 114816077 A 2（1） 对于压力传感器， 我们对每一根手指的压力值信息进行向量化， 当手指 的压力值大 于我们设定好的阈值 的时候， 将五 维向量的元 素全部置1， 反之则全部 置0， （2） 对于弯曲度传感器， 我们对每一根手指的弯曲度值信息进行向量化， 首先将五维向 量 的弯曲度维度划分为[ , )， [ , )， [ ,3 )， [ , )， [9 180 )， 当获得手指 的弯曲度值 时， 即可将 放置在向量 相应的维度下， （4） 建立 和 的映射关系， （5） 建立 、 、 和 的映射关系， （6） 利用多维空间下欧氏距离公式求得 向量与动作 库 中动作向量 的距离， （7） 计算用户进行动作 库 中动作 的概率， （8） 在传感器通道下， 不同的动作对应有不同的实验意 图， 将步骤7中求得的概率映射 到相应的实验意图中， 获得传感器通道下实验步骤概 率集合 ；  。 4.根据权利要求1所述的一种 多模态融合的智能手套系统， 其特征在于， 所述的基于余 弦相似度匹配的语音通道意图概 率获取算法包括以下步骤： 输入： 用户输入的语音 ， 系统语音库 ， 分词函数 ， 并集函数 ， 编 号函数 ， 编码函数 ， 匹配函数 ； 输出： 语音通道下实验意图集 合 ； （1） 对 中的语音 进行分词操作得到词语集 合 ， （2） 对 进行并集操作， 得到系统语音字典库 ， （3） 对 从0到n进行编号，权　利　要　求　书 2/3 页 3 CN 114816077 A 3