(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211342691.4 (22)申请日 2022.10.31 (71)申请人 广东电网有限责任公司佛山供电局 地址 528000 广东省佛山市禅城区汾江南 路1号 (72)发明人 张殷　王俊波　李国伟　唐琪　 熊仕斌　蒋维　罗容波　范心明　 李新　董镝　宋安琪　王智娇　 刘少辉　吴焯军　刘昊　王云飞　 李雷　涂琬婧　李兰茵　赖艳珊　 陈绮琪　姜沛东　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 任文生(51)Int.Cl. G06F 9/50(2006.01) G06N 3/04(2006.01) G06N 3/063(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 一种基于批处理动态调节的模型推理调度 方法及系统 (57)摘要 本发明涉及大数据处理技术领域， 公开了一 种基于批处理动态调节的模型推理调度方法及 系统， 其方法通过对多个异构处理器进行性能测 试， 得到相应的处理性能， 根据异构处理器的硬 件状态和处理性能加和处理， 得到相应的异构处 理器的推理工作量， 并确定推理工作量最小的异 构处理器， 通过推理调度器将预设的推理模型部 署在推理工作量最小的异构处理器上， 并且， 异 构处理器执行预设的推理模型的推理服务， 对待 处理数据进行批处理， 从而使得部署的模型可以 分配足够的资源完成推理工作， 缓解处理器资源 争用的问题， 提高了模型推理效率。 权利要求书3页 说明书9页 附图2页 CN 115408163 A 2022.11.29 CN 115408163 A 1.一种基于 批处理动态调节的模型推理调度方法， 其特 征在于， 包括以下步骤： 构建多个异构处 理器， 获取多个异构处 理器的性能测试 结果； 获取每个所述异构处理器的硬件状态， 所述硬件状态包括处理器 内存利用率和处理器 利用率， 根据所述异构处理器的硬件状态和性能测试结果加和处理， 得到相应的异构处理 器的推理工作量； 比较所述多个异构处理器分别对应的推理工作量， 确定推理工作量最小的异构处理 器， 通过推理调度器将预设的推理模型部署在推理工作量 最小的异构处 理器上； 通过推理工作量最小的异构处理器执行所述预设的推理模型的推理服务， 对待处理数 据进行批处 理。 2.根据权利要求1所述的基于批处理动态调节的模型推理调度方法， 其特征在于， 构建 多个异构处 理器， 获取多个异构处 理器的性能测试 结果的步骤具体包括： 构建多个异构处理器， 以Resnet50模型作为推理模型在多个异构处理器上运行推理服 务； 根据公开数据集中的数据生成训练数据集， 将所述训练数据集输入到多个异构处理器 上的Resnet50模型中进行训练， 得到相应的处理结果， 根据处理结果计算所述异构处理器 每秒处理的最大 数据量， 作为与训练数据集相对应的异构处 理器的处 理性能。 3.根据权利要求1所述的基于批处理动态调节的模型推理调度方法， 其特征在于， 还包 括： 在多个异构处 理器中配置适用于推理模型的运行环境 参数、 运行权 重和推理脚本 。 4.根据权利要求1所述的基于批处理动态调节的模型推理调度方法， 其特征在于， 还包 括： 通过所述推理调度器获取推理模型的运行延迟时间， 将所述运行延迟时间低于预设的 延迟时间， 则增加批处理数据量， 将所述运行延迟时间高于预设的延迟时间， 则减少批处理 数据量； 获取n次批处理数据量， 记为x1,x2,x3,...xi,xj,...,xn， 使用Mann ‑Kendall检验进行判 断， 具体包括： 对n次批处 理数据量计算差值和为， 式中， S表示差值和， 其中， ； 通过下式计算趋势值 为，权　利　要　求　书 1/3 页 2 CN 115408163 A 2式中， Z表示趋势值，Var表示S的方差； 判断趋势值与零的大小关系， 若判断趋势值大于零， 则 批处理调整趋势为增大， 若判断 趋势值小于零， 则批处 理调整趋势为减小； 根据批处理数据量和运行延迟时间计算运行吞吐量， 若运行吞吐量和/或运行延迟时 间不满足预设的要求值， 则调整批处理数据量， 直至运行吞吐量和/或运行延迟时间均满足 预设的要求 值， 则输出批处 理数据量； 通过推理模型按照批处 理数据量对待处 理数据进行批处 理。 5.一种基于 批处理动态调节的模型推理调度系统， 其特 征在于， 包括： 性能测试模块， 用于构建多个异构处 理器， 获取多个异构处 理器的性能测试 结果； 工作量计算模块， 用于获取每个所述异构处理器的硬件状态， 所述硬件状态包括处理 器内存利用率和处理器利用率， 根据所述异构处理器的硬件状态和性能测试结果加和处 理， 得到相应的异构处 理器的推理工作量； 比较模块， 用于比较所述多个异构处理器分别对应的推理工作量， 确定推理工作量最 小的异构处理器， 通过推理调 度器将预设的推理模型部署在推理工作量最小的异构处理器 上； 批处理模块， 用于通过推理工作量最小的异构处理器执行所述预设的推理模型的推理 服务， 对待处 理数据进行批处 理。 6.根据权利要求5所述的基于批处理动态调节的模型推理调度系统， 其特征在于， 所述 性能测试模块具体包括： 构建模块， 用于构建多个异构处理器， 以Resnet50模型作为推理模型在多个异构处理 器上运行推理服 务； 测试模块， 用于根据公开数据集中的数据生成训练数据集， 将所述训练数据集输入到 多个异构处理器上的Resnet50模型中进行训练， 得到相应的处理结果， 根据处理结果计算 所述异构处理器每秒处理的最大数据量， 作为与训练数据集相对应的异构处理器的处理性 能。 7.根据权利要求5所述的基于批处理动态调节的模型推理调度系统， 其特征在于， 还包 括： 配置模块， 用于在多个异构处理器中配置适用于推理模型的运行环境参数、 运行权重 和推理脚本 。 8.根据权利要求5所述的基于批处理动态调节的模型推理调度系统， 其特征在于， 还包 括： 调整模块， 用于通过所述推理调度器获取推理模型的运行延迟时间， 将所述运行延迟 时间低于预设的延迟时间， 则增加批处理数据量， 将所述运行延迟时间高于预设的延迟时权　利　要　求　书 2/3 页 3 CN 115408163 A 3