(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210953208.X (22)申请日 2022.08.10 (65)同一申请的已公布的文献号 申请公布号 CN 115017418 A (43)申请公布日 2022.09.06 (73)专利权人 北京数慧时空信息技 术有限公司 地址 100070 北京市丰台区海鹰路1号院1 号楼二层201 (72)发明人 陈宇　彭哲　段红伟　邹圣兵　 (51)Int.Cl. G06F 16/9535(2019.01) G06V 20/13(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 114117220 A,202 2.03.01 CN 113449183 A,2021.09.28 CN 111126282 A,2020.0 5.08 US 20191 14561 A1,2019.04.18 WO 2021184891 A1,2021.09.23 US 2018374138 A1,2018.12.27 周幸等.基于双注意力机制的遥感图像目标 检测. 《计算机与现代化》 .2020,(第08 期), 亓法欣等.基 于强化学习DQ N的智能体信任 增强. 《计算机 研究与发展》 .2020,(第0 6期), 审查员 陈丽媛 (54)发明名称 基于强化学习的遥感影 像推荐系统及方法 (57)摘要 本发明提供一种基于强化学习的遥感影像 推荐系统及方法， 涉及数据挖掘和推荐技术领 域， 所述系统包括影像集获取模块、 强化学习模 块、 用户反馈模块， 其中， 强化学习模块包括奖励 模块、 动作模块、 状态模块、 影像库模块、 特征提 取模块、 特征融合模块。 本发明结合强化学习和 用户反馈， 构建了合理的遥感影像 反馈式推荐系 统， 能够实现实时的反馈式遥感影像推荐， 基于 用户的反馈内容 提供符合用户偏好的影 像推荐。 权利要求书3页 说明书12页 附图2页 CN 115017418 B 2022.11.01 CN 115017418 B 1.一种基于强化学习的遥感影像推荐系统， 其特征在于， 包括影像集获取模块、 强化学 习模块、 用户反馈模块： 所述影像集获取模块用于获取推荐影 像候选集和初始目标区域； 所述强化学习模块用于根据初始目标区域在推荐影像候选集中进行逐张影像选取， 得 到推荐影 像集； 所述用户反馈模块用于获取用户对推荐影像集的用户反馈， 基于用户反馈并结合推荐 影像候选集得到 筛选影像集或推荐结果； 所述强化学习模块和所述用户反馈模块在执行时为迭代过程， 直至接收到用户停止推 荐请求， 停止迭代， 所述用户反馈模块输出推荐结果， 其中， 所述用户停止推荐请求由所述 用户反馈模块输出 得到； 其中， 所述强化学习模块包括： 奖励模块， 用于构建强化学习的奖励项和回报函数； 所述奖励模块， 包括： 奖励单元， 用于构建强化学习的奖励项， 奖励 ， 其中， 为影 像质量奖励项、 为影像覆 盖率奖励项、 为影像时相奖励项， 为用户反馈奖励项， 、 、 和 为权重系数； 回报函数单元， 用于构建强化学习的回报函数， 并根据奖励进行回报函数更新： ； 动态奖励更新单 元， 用于更新用户反馈奖励项的奖励值； 所述动态奖励更新单 元， 包括： 特征提取单元， 用于对推荐影 像候选集进行 特征提取； 特征相似度计算单元， 用于将推荐影像候选集中每张影像的特征分别与融合 聚类特征 一一进行相似度计算； 反馈奖励单元， 用于根据相似度的计算结果选取与单张影像的特征的相似度最大的融 合聚类特征， 作为该单张影像的相似融合聚类特征， 将相似融合聚类特征对应的聚类程度 值以及最大相似度作为相应的该 单张影像的用户反馈奖励； 动作模块， 用于构建强化学习的动作空间， 动作空间中的动作为从推荐影像候选集中 逐个选取推荐影 像； 状态模块， 用于构建强化学习的状态空间， 状态空间由已选取的推荐影像和未覆盖的 目标区域经向量化后构成， 其中， 未覆盖的目标区域为从初始目标区域上去除已选取 的推 荐影像所覆盖的区域后的区域， 输出推荐影 像集； 影像库模块， 用于存 储筛选影像集并对其进行 更新； 特征提取模块， 用于对筛选影像集中的影像进行前景和后景特征提取， 得到筛选影像 集中的前 景特征和后景 特征； 特征融合模块， 用于对筛选影像集中的单张影像的前景特征和后景特征进行特征融 合， 得到该单张影像的融合特征， 进而得到筛选影像集中所有影像的融合特征集， 对融合特 征集进行聚类处理， 得到的聚类中心作为融合聚类特征， 并基于统计方法得到每个融合聚 类特征对应的聚类程度值。权　利　要　求　书 1/3 页 2 CN 115017418 B 22.根据权利要求1所述的基于强化学习的遥感影像推荐系统， 其特征在于， 所述用户反 馈模块， 包括： 判定单元， 用于接收用户的推荐请求并对其进行判定， 所述用户的推荐请求为用户继 续推荐请求或用户停止推荐请求， 当推荐请求为用户继续推荐请求时跳转至影像筛选单 元， 当推荐请求 为用户停止推荐请求时跳转至 输出单元； 影像筛选单元， 用于获取用户的影像筛选反馈， 用户的影像筛选反馈为用户根据个人 喜好从推荐影 像集和推荐影 像候选集中进行影 像筛选， 得到筛选影像集； 输出单元， 用于输出用户停止推荐请求， 所述用户停止推荐请求为第一停止推荐请求 或第二停止推荐请求， 所述第一停止推荐请求为停止推荐并输出推荐结果， 所述第二停止 推荐请求 为停止推荐并进行替换后输出推荐结果。 3.根据权利要求1所述的基于强化学习的遥感影像推荐系统， 其特征在于， 所述特征提 取模块， 包括： 前景特征提取单元， 用于对筛选影像集中的影像进行前景特征提取， 得到每张影像的 前景特征， 所述前景特征 的提取方法为使用显著性检测网络获取影像的前景掩膜， 对前景 掩膜进行 特征提取； 后景特征提取单元， 用于对筛选影像集中的影像进行后景特征提取， 得到每张影像的 后景特征； 所述前景特征和后景特征的提取方法包括HOG、 SIFT、 ORB、 直方图、 灰度共生矩阵、 局部 二值模式、 Gabor、 SURF、 Har ris和深度学习方法。 4.根据权利要求1所述的基于强化学习的遥感影像推荐系统， 其特征在于， 所述特征融 合模块， 包括： 融合单元， 用于对筛选影像集中的每张影像的前景特征和后景特征进行特征融合， 得 到每张影 像的融合特 征； 聚类单元， 用于对所述融合特征进行聚类处理， 得到融合聚类特征和其对应的聚类程 度值， 其中， 筛选影像集中的每张影像对每个融合聚类特征都有其相应的聚类程度值， 即 ， 其中， 为聚类程度函数， 为第i类融合聚类 特征， I为影像， 为影 像I对应的第i类融合聚类特 征的聚类程度值。 5.根据权利要求1所述的基于强化学习的遥感影像推荐系统， 其特征在于， 所述各奖励 项还对应其奖励值： r(q)={(优,+1),(差, ‑3)}， 表示当前动作选取的推荐影像质量优时奖励值为+1， 当前 动作选取的推荐影 像质量差时奖励值 为‑1； r(c)={(大,+2),(小, ‑1)}， 表示当前动作选取的推荐影像对未覆盖的目标区域的覆盖 率大于等于覆盖率阈值时奖励值为 +1， 当前动作选取的推荐影像对 未覆盖的目标区域的覆 盖率小于覆盖率阈值时奖励值 为‑1； r(t)={(相近,+1),(不相近, ‑1)}， 表示当前动作选取的推荐影像与其余的已选取的推 荐影像的时相相近时奖励值为+1， 当前动作选取的推荐影像与其余的已选取的推荐影像的 时相不相近时奖励值 为‑1； 权　利　要　求　书 2/3 页 3 CN 115017418 B 3