(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211376381.4 (22)申请日 2022.11.04 (71)申请人 之江实验室 地址 311121 浙江省杭州市余杭区之江实 验室南湖总部 (72)发明人 李太豪　岳鹏程　屈乐园　郑书凯　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 陈蕾 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G10L 25/27(2013.01) G10L 25/63(2013.01) (54)发明名称 一种模型训练和业务执行的方法、 装置、 介 质及设备 (57)摘要 本说明书公开了一种模型训练和业务执行 的方法、 装置、 介质及设备。 该模型训练的方法包 括： 获取用户在历史上的语音对话数据并输入待 训练的识别模型， 通过识别模型的特征提取层， 确定语音对话数据对应的数据特征， 以及确定所 述语音对话数据对应的情感强度， 作为预测情感 强度， 和语音对话数据对应的情感类别， 作为预 测情感类别， 根据预测情感强度和语音对话数据 对应的实际情感强度之间的偏 差， 以及预测情感 类别和语音对话数据对应的实际情感类别之间 的偏差， 确定识别模型的综合损失值， 以最小化 该综合损失值为优化目标， 对识别模型进行训 练。 权利要求书2页 说明书12页 附图5页 CN 115456114 A 2022.12.09 CN 115456114 A 1.一种模型训练的方法， 其特 征在于， 包括： 获取用户在历史上 执行客服业务的语音对话数据； 将所述语音对话数据输入待训练的识别模型， 通过所述识别模型的特征提取层， 确定 所述语音对话数据对应的数据特 征； 将所述数据特征输入到所述识别模型的第 一分类层， 以确定所述语音对话数据对应的 情感强度， 作为预测情感强度， 以及， 将所述数据特征输入到所述识别模型的第二分类层， 以确定所述语音对话数据对应的情感类别， 作为预测情感类别； 根据所述预测情感强度和所述语音对话数据对应的实际情感强度之间的偏差， 以及所 述预测情感类别和所述语音对话数据对应的实际情感类别之间的偏差， 确定所述识别模型 的综合损失值； 以最小化所述综合损失值 为优化目标， 对所述识别模型进行训练。 2.如权利要求1所述的方法， 其特征在于， 将所述语音对话数据输入待训练的识别模 型， 具体包括： 针对所述语音对话数据中的每一帧数据， 确定该帧数据是否为静音数据； 将所述语音对话数据首尾两端的静音数据进行删除处 理， 得到处 理后语音对话数据； 将所述处 理后语音对话数据输入所述识别模型。 3.权利要求2所述的方法， 其特征在于， 将所述处理后语音对话数据输入所述识别模 型， 具体包括： 判断所述处 理后语音对话数据对应的时间长度是否大于预设时间长度； 若是， 则对所述处 理后语音对话数据进行裁 剪， 得到裁剪后语音对话数据； 将所述裁 剪后语音对话数据输入所述识别模型。 4.如权利要求1所述的方法， 其特征在于， 根据所述数据特征， 将所述数据特征输入到 所述识别模型 的第一分类层， 以确定所述语音对话数据对应的情感强度， 作为预测情感强 度， 以及， 将所述数据特征输入到所述识别模型的第二分类层， 以确定所述语音对话数据对 应的情感类别， 作为预测情感类别， 具体包括： 根据所述数据 特征以及所述语音对话数据对应的时间长度， 确定所述语音对话数据对 应的平均数据特 征； 将所述平均 数据特征输入到所述识别模型的第 一分类层， 以确定所述语音对话数据对 应的所述预测情感强度， 以及， 将所述平均数据特征输入到所述识别模型的第二分类层， 以 确定所述语音对话数据对应的所述预测情感类别。 5.如权利要求1所述的方法， 其特征在于， 根据所述预测情感强度和所述语音对话数据 对应的实际情感强度之 间的偏差， 以及所述预测情感类别和所述语音对话数据对应的实际 情感类别之间的偏差， 确定所述识别模型的综合损失值， 具体包括： 根据所述预测情感强度和所述语音对话数据对应的实际情感强度之间的偏差， 确定所 述识别模型的第一损失值， 以及所述预测情感类别和所述语音对话数据对应的实际情感类 别之间的偏差， 确定所述识别模型的第二损失值； 根据所述第一损 失值、 第一损 失值对应的预设权重以及所述第二损 失值， 确定所述综 合损失值。 6.如权利要求1所述的方法， 其特征在于， 以最小化所述综合损 失值为优化目标， 对所权　利　要　求　书 1/2 页 2 CN 115456114 A 2述识别模型进行训练， 具体包括： 根据预设的初始学习率、 学习率衰减指数、 衰减周期以及训练次数， 确定每次对所述识 别模型进行训练时， 所述识别模型对应的学习率， 其中， 所述训练次数越多， 所述学习率越 小； 根据每次对所述识别模型进行训练时， 所述识别模型对应的学习率， 以最小化所述综 合损失值 为优化目标， 对所述识别模型进行训练。 7.一种业 务执行的方法， 其特 征在于， 包括： 获取用户的语音数据； 将所述语音数据输入预先训练的识别模型， 通过所述识别模型的特征提取层， 确定所 述语音数据对应的语音 特征， 以及， 将所述语音 特征输入到所述识别模型的第一分类层， 以 确定所述语音数据对应的情感强度， 以及， 将所述语音特征输入到所述识别模型 的第二分 类层， 以确定所述语音数据对应的情感类别， 其中， 所述识别模型是通过上述权利要求1~6 任一项所述的方法训练得到的； 根据所述语音数据对应的情感类别以及所述情感强度， 确定业务的执行策略， 并根据 所述执行策略执行所述业务。 8.一种模型训练的装置， 其特 征在于， 包括： 获取模块， 获取用户在历史上 执行客服业务的语音对话数据； 输入模块， 将所述语音对话数据输入待训练的识别模型， 通过所述识别模型的特征提 取层， 确定所述语音对话数据对应的数据特 征； 第一确定模块， 将所述数据特征输入到所述识别模型的第一分类层， 以确定所述语音 对话数据对应的情感强度， 作为预测情感强度， 以及， 将所述数据特征输入到所述识别模型 的第二分类层， 以确定所述语音对话数据对应的情感类别， 作为预测情感类别； 第二确定模块， 根据 所述预测情 感强度和所述语音对话数据对应的实际情 感强度之间 的偏差， 以及所述预测情感类别和所述语音对话数据对应的实际情感类别 之间的偏差， 确 定所述识别模型的综合损失值； 训练模块， 以最小化所述综合损失值 为优化目标， 对所述识别模型进行训练。 9.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有计算机程序， 所述计算 机程序被处 理器执行时实现上述权利要求1~7任一项所述的方法。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方 法。权　利　要　求　书 2/2 页 3 CN 115456114 A 3