(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211344077.1 (22)申请日 2022.10.31 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 张驭龙　冯旸赫　陈丽　刘忠　 徐越　李敏　张龙飞　梁星星　 刘昀　阳方杰　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 彭小兰 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/02(2006.01)G05B 13/04(2006.01) (54)发明名称 基于强化学习的无人机知识模型分时调用 方法及装置 (57)摘要 本申请涉及一种基于强化学习的无人机知 识模型分时调用方法及装置。 所述方法包括： 利 用无人机知识模型在预先设置的周期内对目标 区域执行任务， 对所有无人机知识模 型的环境及 时反馈值进行计算， 根据无人机知识模型的累积 折扣反馈和多步时长状态转移概率进行计算， 得 到每个无人机知识模型的选项策略函数； 将神经 网络作为无人机知识模型的评估值函数， 根据选 项策略函数构建评估值函数的更新公 式， 利用更 新公式对神经网络进行更新， 根据更新后的神经 网络对不同时刻的无人机知识模 型进行评估， 利 用得到的不同时刻 的无人机知识模型的最终评 估值进行无人机知识模型的分时调用。 采用本方 法能够提高无 人机工作效率。 权利要求书3页 说明书11页 附图3页 CN 115470894 A 2022.12.13 CN 115470894 A 1.一种基于强化学习的无 人机知识模型分时调用方法， 其特 征在于， 所述方法包括： 获取多个待调用的无人机知识模型； 所述无人机知识模型包括巡航模型、 侦察模型和 打击模型； 利用所述无人机知识模型在预先设置的周期内对目标区域执行任务， 得到所有无人机 知识模型的环境及时反馈值； 对所有无人机知识模型的环境及时反馈值进行计算， 得到所有无人机知识模型的累积 折扣反馈； 根据所述无人机知识模型的累积折扣反馈和多步 时长状态转移概率进行计算， 得到每 个无人机知识模型的选项策略函数； 将神经网络作为无人机知识模型的评估值函数， 根据所述选项策略函数构建评估值函 数的更新公式， 利用所述更新公式对所述神经网络进行 更新， 得到更新后的神经网络； 根据所述更新后的神经网络对不同时刻的无人机知识模型进行评估， 得到不同时刻的 无人机知识模型的最终评估值； 利用所述 不同时刻的无 人机知识模型的最终评估值进行 无人机知识模型的分时调用。 2.根据权利要求1所述的方法， 其特征在于， 对所有无人机知识模型的环境及时反馈值 进行计算， 得到所有无 人机知识模型的累积折扣反馈， 包括： 对所有无人机知识模型的环境及时反馈值进行计算， 得到所有无人机知识模型的累积 折扣反馈为 其中， 表示环境及时反馈值， 表示预先设置的周期， 表示周期内的任意时刻， 表示在i时刻的即时状态值， 表示无人机知识模型对应的无人机动作， 表示超参数， 表示当前时刻选择的无 人机知识模型。 3.根据权利要求2所述的方法， 其特征在于， 根据 所述无人机知识模型的累积折扣反馈 和多步时长状态转移概 率进行计算， 得到每 个无人机知识模型的选项策略函数， 包括： 根据所述无人机知识模型的累积折扣反馈和多步 时长状态转移概率进行计算， 得到每 个无人机知识模型的选项策略函数为 其中， 表示当前时刻环境中的态势信息， 表示多步时长状态转移概率， 表示 下一时刻环境中的态势信息， 表示下一时刻选择的无人机知识模型， 表示在权　利　要　求　书 1/3 页 2 CN 115470894 A 2当前时刻的态势信息的评估值， 表示当前态势信息下选择的知识模型的评估 值。 4.根据权利要求3所述的方法， 其特征在于， 根据 所述选项策略函数构建评估值函数的 更新公式， 包括： 根据所述选项策略函数构建评估值 函数的更新公式为 其中， 在 之间取值， 表示无人机知识模型是否已被执行， 表示 当前时刻的下一时刻 态势信息下选择的知识模型的评估值， 表示下一时刻的态势 信息的评估值， 表示决策周期态势为 c并采用无人机知识模型 后下一决 策周期采纳无人机知识模型 的价值， 表示决策周期态势为 c并采用无 人机知识模型 后下一决策周期 中各态势与各无人机知识模型的出现概率， 表示下一时刻选择的无 人机知识模型的评估值。 5.根据权利要求4所述的方法， 其特征在于， 利用所述更新公式对所述神经网络进行更 新， 得到更新后的神经网络， 包括： 利用所述更新公式计算所述神经网络 中的参数的梯度， 根据所述梯度 更新所述神经网 络， 得到更新后的神经网络 。 6.根据权利要求5所述的方法， 其特征在于， 利用所述更新公式计算所述神经网络 中的 参数的梯度， 包括： 利用所述更新公式计算所述神经网络中的参数的梯度为 其中， 表示当下的无 人机知识模型中具体执 行的行为策略。 7.根据权利要求6所述的方法， 其特征在于， 利用所述更新公式计算所述神经网络 中的 参数的梯度， 还 包括： 其中， 表示下一决策周期态势为c ’， 表示决策周期态势为 并采用无人机知识模型 后下一决策周期态势 为 下采取无人机知识模型 的概率权　利　要　求　书 2/3 页 3 CN 115470894 A 3