(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211119135.0 (22)申请日 2022.09.13 (66)本国优先权数据 202210484040.2 202 2.05.06 CN (71)申请人 中国人民大 学 地址 100872 北京市海淀区中关村大街59 号 (72)发明人 赵鑫　田长鑫　 (74)专利代理 机构 北京邦创至诚知识产权代理 事务所(普通 合伙) 11717 专利代理师 张宇锋 (51)Int.Cl. G06F 16/9535(2019.01) G06F 21/62(2013.01) G06N 20/00(2019.01) (54)发明名称 一种基于联邦表示学习的隐私保护跨领域 推荐系统 (57)摘要 本发明公开了一种基于联邦表示学习的隐 私保护跨领域推荐系统， 其包括如下步骤： S1： 单 个域内的私有更新， 即通过图迁移模块来融合用 户全局和本地偏好， 并基于域内数据用梯度下降 算法本地更新全局和本地偏好； S2： 在私有更新 后， 采用联邦更新过程来协作学习基于多域数据 的全局用户偏好， 并通过注意力机制个性化聚合 用户不同领域的偏好， 使之适应异构域数据； S3： 使用周期同步机制降低通信成本， 即在固定数量 的私有更新之后， 执行一次跨域的联邦更新过 程。 本申请从多个层面保护用户隐私信息。 在本 发明中， 每个域的原始交互数据在本地存储在域 的私有空间中， 不会上传到其他域， 这样可以有 效的降低隐私泄 露的风险。 权利要求书3页 说明书7页 附图2页 CN 115510316 A 2022.12.23 CN 115510316 A 1.一种基于联邦表示学习的隐私保护跨领域推荐系统， 其特 征在于， 包括如下步骤： S1： 单个域内的私有更新， 即通过图迁移模块来融合用户全局和本地偏好， 并基于域内 数据用梯度下降算法本地更新全局 和本地偏好； S2： 在私有更新后， 采用联邦更新过程来协作学习基于多域数据的全局用户偏好， 并通 过注意力机制个性 化聚合用户不同领域的偏好， 使之适应异构域数据； S3： 使用周期同步机制降低通信成本， 即在固定数量的私有更新之后， 执行一 次跨域的 联邦更新过程。 2.根据权利要求1所述的基于联邦表示学习的隐私保护跨领域推荐系统， 其特征在于， 步骤S1中的所述图迁移模块具体为： 对于每一个域， 根据该领域的用户交互数据， 构建特定于域的用户 ‑项目交互图， 设置 全局和本地用户节点来建模全局和本地用户偏好， 并增加连接全局和本地用户节点的边； 其中， 用户u的全局用户节点与嵌入 相关联， 用户u的原始用户节点与嵌入eu相关联， eu和 均为实数空间内维度为m的向量； 图传输模块可以抽象为L ‑层转换； 在l ‑th层， 首先应用 一个双向嵌入传输来在本地和全局用户偏好之间交换消息， 其具体 计算方式如下： 其中， fT(·,·|β )是迁移函数， β1和β2是在[0,1]范围内控制 传输中保留率的超参数， 表示图中用户u的邻居集合； 和 分别表示用户u在传输 前的本地和全局表示， 其中本地用户表示 在发送到l+1层之前， 将在消息传播中进一步 更新， 其消息传播的具体操作如下： 其中， 表示图中项目i在用户项目交互图上的邻居集合， 项目表 示 通过可学习性 嵌入ei∈Rm来初始化； 在图传输模块中L ‑layer变换后， 我们将所有L层产生的表示串接起 来， 得到最终的用户表示和项目表示如下 所示： 式中Concat( ·)表示连接操作； 最终的用户表示形式hu已经编码了全局和本地用户偏 好， 以及用户项目图上的高阶信息 。 3.根据权利要求2所述的基于联邦表示学习的隐私保护跨领域推荐系统， 其特征在于， 步骤S1中基于域内数据用梯度下降算法本地更新全局 和本地偏好具体为：权　利　要　求　书 1/3 页 2 CN 115510316 A 2给定用户和项目表示， 采用内积操作来生成分数， 以预测用户u与来自d域的项目i的交 互可能性， 具体 计算方式如下： 其中 为用户u和项目i的预测得分； 然后采用贝叶斯个性化排序损失， 基于单域交互 数据更新本地和全局用户嵌入， 其定义 为： 其中， σ(·)是Sigmoid函数， λ控制L2正则化的强度， Θd是领域d的模型参数； 通过负采 样构造训练样本对， 表示成对训练数据集合； 通过这种方式， 模型基于域内数据本地学 习每个域的本地用户嵌入和域特定项嵌入。 4.根据权利要求1所述的基于联邦表示学习的隐私保护跨领域推荐系统， 其特征在于， 步骤S2中在私有 更新后， 采用联邦更新过程来协作学习基于多域数据的全局用户偏好具体 为： 在私有更新过程中， 每 个域d为全局用户 维护嵌入 的全局用户， 该用户 使用域内数 据进行本地更新； 为了刻画更全面的用户偏好， 需要学习跨领域的知识来增强本地用户偏 好； 为此， 采用去中心 化的联邦学习来基于多个域的数据协作地更新全局用户嵌入； 这些全 局用户嵌入将在多个域之 间共享； 然而， 这些用户嵌入包含了用户行为的隐私信息， 出于隐 私考虑， 不能在域外直接共享； 在 共享全局用户嵌入之前， 对全局用户嵌入应用本地差 分隐 私技术； 具体地 说， 对于每一个全球用户 添加强度为 λLDP的拉普拉斯噪声， 来获得被加密 保护的嵌入 然后， 每个域d发送受保护嵌入 给其他领域， 与此同时从其他领域接受共 享嵌入 5.根据权利要求1所述的基于联邦表示学习的隐私保护跨领域推荐系统， 其特征在于， 步骤S2中通过个性 化聚合使这些全局偏好 适应异构域数据具体为： 在跨领域推荐场景中， 为考虑跨领域知识利用的领域适应性， 采用一种个性化的偏好 聚合策略， 为每个领域生成特定于领域的全局用户嵌入； 具体地， 基于注意力机制， 在每个 领域中执行个性化 的偏好聚合； 当域名d从其他领域接受共享嵌入 个性化聚合层采用可 学习变换矩阵W∈R2m计算注意力系数， 具体 计算方式为： 式中， g(·)为LeakyReLU激活函数， 采用softmax函数对注意力系数进行归一化； 注意 力系数αd,d′表示该领域知识对该领域d的重要性； 这些注意力系数被用作个性化联邦聚合 的权值， 以在d域 生成用户u的全局嵌入， 具体生成方式如下 所示： 其中， β3是在[0,1]范围内控制保留率的超参数， 方程的第二项自适应结合来自不同领权　利　要　求　书 2/3 页 3 CN 115510316 A 3