(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111495812.4 (22)申请日 2021.12.08 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 刘建林　解鑫　许铭　袁晓敏　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 代理人 马敬　孟维娜 (51)Int.Cl. G06Q 10/08(2012.01) G06Q 10/06(2012.01) G06Q 10/04(2012.01) (54)发明名称 一种调度方案的确定方法、 装置、 设备及存 储介质 (57)摘要 本公开提供了一种调度方案的确定方法、 装 置、 设备及存储介质， 涉及机器学习技术领域， 尤 其涉及调度技术、 强化学习技术领域。 具体实现 方案为： 获得状态信息， 其中， 所述状态信息包 括： 煤炭港口所包括的作业带的描述信息、 所包 括的煤剁的描述信息、 到达所述煤炭港口的运输 车的描述信息； 基于所述状态信息， 确定包括运 输车、 作业带与时刻之间对应关系的目标调度方 案。 应用本公开实施例确定调度方案时， 提高了 调度方案确定的效率。 权利要求书4页 说明书16页 附图5页 CN 114186931 A 2022.03.15 CN 114186931 A 1.一种调度方案的确定方法， 包括： 获得状态信息， 其中， 所述状态信息包括： 煤炭港口所包括的作业带的描述信息、 所包 括的煤剁的描述信息、 到 达所述煤炭港口 的运输车的描述信息； 基于所述状态信息， 确定包括 运输车、 作业带与时刻之间对应关系的目标调度方案 。 2.根据权利要求1所述的方法， 其中， 当所述状态信息为起始时刻的状态信息时， 所述 基于所述状态信息， 确定包括 运输车、 作业带与时刻之间对应关系的目标调度方案， 包括： 循环将所述起始时刻的状态信 息输入待训练 的信息预测模型， 以起始时刻的状态信 息 作为训练样本， 采用强化学习 方式对所述信息预测模型进行训练， 在满足模型训练结束条 件的情况下， 得到每一次循环时生成的包括运输车、 作业带以及时刻之间对应关系的备选 调度方案； 从备选调度方案中， 确定目标调度方案 。 3.根据权利要求2所述的方法， 其中， 所述备选调度方案包括至少一个备选调度方案， 所述从备选调度方案中， 确定目标调度方案， 包括： 针对每一备选调度方案， 基于该备选调度方案 中每一时刻所对应的运输车所卸载煤炭 的信息、 以及所对应的作业带 所连接煤剁的信息， 计算该 备选调度方案的第一奖励值； 基于各备选调度方案的第一奖励值， 从各 备选调度方案中确定目标调度方案 。 4.根据权利要求2所述的方法， 其中， 按照以下 方式生成备选调度方案： 将所述起始时刻的状态信 息输入待训练的信 息预测模型， 获得所述信 息预测模型输出 的所述起始时刻对应的第一运输车以及第一作业带， 其中， 所述第一运输车为： 所述信息预 测模型预测得到的、 用于在所述起始时刻卸载煤炭的运输车， 所述第一作业带为： 所述信息 预测模型 预测得到的、 用于运送所述第一 运输车所卸载的煤炭的作业带； 若未满足第一循环结束条件， 基于所述起始时刻对应的第一运输车以及第一作业带， 确定所述起始时刻的下一时刻的状态信息， 并将所述起始时刻更新为所述起始时刻的下一 时刻， 返回所述将所述起始 时刻的状态信息输入待训练的信息预测模型 的步骤， 直至满足 所述第一循环结束 条件， 得到包括第一运输车、 第一作业带、 每一时刻之 间对应关系的备选 调度方案 。 5.根据权利要求 4所述的方法， 其中， 按照以下 方式训练所述信息预测模型： 获得所述信息预测模型输出的所述起始时刻对应的第一预测有益度， 其中， 所述第一 预测有益度用于表征 所述起始时刻对应的第一 运输车、 第一作业带的预测有益度； 获得所述信息预测模型输出的在所述起始时刻之后预设数量个连续的目标时刻对应 的第一运输车以及第一作业带； 根据每一目标时刻对应的第 一运输车所卸载煤炭的信 息、 以及所对应的第 一作业带所 运送煤炭的信息， 计算用于表征所述起始 时刻对应的第一运输车、 第一作业带 的真实有益 度； 基于所述起始时刻对应的第 一预测有益度以及 真实有益度， 调整所述信 息预测模型的 模型参数， 若 未满足模型训练结束 条件， 将所述起始时刻更新为起始时刻的下一时刻， 并返 回所述获得所述信息预测模型输出的所述起始时刻 对应的第一预测有益度的步骤， 直至满 足所述模型训练结束条件， 实现对所述信息预测模型的训练。 6.根据权利要求5所述的方法， 其中， 所述根据每一目标时刻对应的第 一运输车所卸载权　利　要　求　书 1/4 页 2 CN 114186931 A 2煤炭的信息、 以及所对应的第一作业带所运送煤炭的信息， 计算用于表征所述起始 时刻对 应的第一 运输车、 第一作业带的真实有益度， 包括： 针对每一目标时刻， 根据该目标时刻对应的第一运输车所卸载煤炭的信息、 以及所对 应的第一作业带 所连接煤剁的信息， 计算该目标时刻的第二奖励值； 按照预设的权重， 对每一目标时刻对应的第二奖励值进行加权求和， 将计算得到的和 值作为表征 所述起始时刻对应的第一 运输车、 第一作业带的真实有益度。 7.根据权利要求5所述的方法， 其中， 所述基于所述起始时刻对应的第 一预测有益度以 及真实有益度， 调整所述信息预测模型的模型参数， 包括： 计算所述 起始时刻对应的第一预测有益度与真实有益度之间的差异； 基于计算得到的差异， 确定所述信息预测模型的损失值； 基于所述损失值， 调整所述信息预测模型的模型参数。 8.根据权利要求1所述的方法， 其中， 当所述状态信息为起始时刻的状态信息时， 所述 基于所述状态信息， 确定包括 运输车、 作业带与时刻之间对应关系的目标调度方案， 包括： 基于所述起始时刻的状态信息， 确定起始时刻、 第 二运输车、 第二作业带之间的对应关 系； 若未满足第二循环结束条件， 基于所述起始时刻所对应的第二运输车以及第二作业 带， 确定所述起始 时刻的下一时刻的状态信息， 将所述起始 时刻更新为所述起始 时刻的下 一时刻， 返回基于所述起始时刻的状态信息， 确定起始 时刻、 第二运输车、 第二作业带之间 的对应关系的步骤， 直至满足所述第二循环结束条件， 得到包括每一时刻、 第二作业带、 第 二运输车之间的对应关系的目标调度方案 。 9.根据权利要求8所述的方法， 其中， 所述基于所述起始时刻的状态信息， 确定起始时 刻、 第二运输车、 第二作业带之间的对应关系， 包括： 基于所述起始时刻的状态信息， 确定所述起始时刻用于卸载煤炭的运输车， 作为第二 运输车； 基于所述起始时刻的状态信息、 所对应的第二运输车， 确定所述起始时刻用于运送煤 炭的作业带， 作为第二作业带； 得到所述 起始时刻、 第二 运输车以及第二作业带之间的对应关系。 10.根据权利要求9所述的方法， 其中， 所述基于所述起始时刻的状态信 息， 确定所述起 始时刻用于卸载煤炭的运输车， 包括： 基于所述起始时刻的状态信 息， 预测每一运输车作为所述起始时刻用于卸载煤炭的运 输车的第二预测有益度； 基于每一运输车对应的第 二预测有益度， 从各运输车中确定所述起始时刻用于卸载煤 炭的运输车。 11.根据权利要求9所述的方法， 其中， 所述基于所述起始时刻的状态信 息、 所对应的第 二运输车， 确定所述 起始时刻用于运送煤炭的作业带， 作为第二作业带， 包括： 基于所述起始时刻的状态信 息， 预测每一作业带作为所述起始时刻用于运送煤炭的作 业带的第三预测有益度； 针对每一作业带， 确定该作业带的描述信 息与所述起始时刻对应的第 二运输车的描述 信息之间的匹配度；权　利　要　求　书 2/4 页 3 CN 114186931 A 3