(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211090778.7
(22)申请日 2022.09.07
(71)申请人 支付宝 (杭州) 信息技 术有限公司
地址 310000 浙江省杭州市西湖区西溪路
556号8层B段801-1 1
(72)发明人 罗赛男 刘焱
(74)专利代理 机构 北京博思佳知识产权代理有
限公司 1 1415
专利代理师 李威
(51)Int.Cl.
G06F 21/62(2013.01)
G06N 20/00(2019.01)
(54)发明名称
一种调整模型的方法、 装置、 存储介质及电
子设备
(57)摘要
本说明书公开了一种调整模型的方法、 装
置、 存储介质及电子设备, 本说明书实施例中采
用第一模型评估 方式, 将各输入 数据输入到目标
模型中, 得到各输出结果, 并根据包含隐私数据
的输出结果, 确定在第一模型评估 方式下目标模
型的安全参数。 采用第二模型评估方式, 通过目
标模型提取输入 数据的特征数据, 并将特征数据
输入预测模型中, 得到预测结果。 根据预测结果,
确定在第二模型评估方式下目标模型的安全参
数。 根据至少一种模型评估 方式下目标模型的安
全参数, 对目标模型进行调整。 在此方法中, 若 根
据安全参数确定出目标模型存在安全风险, 则对
目标模型进行调整, 这样, 可以降低目标模型的
输出包含隐私数据的风险, 提高模型的安全性。
权利要求书2页 说明书12页 附图4页
CN 115495776 A
2022.12.20
CN 115495776 A
1.一种调整模型的方法, 所述方法包括:
获取目标模型;
采用预设的第 一模型评估方式, 确定所述目标模型的安全参数, 并根据 所述安全参数,
对所述目标模型进行调整; 其中
所述第一模型评估方式通过以下步骤执 行:
将各输入数据输入到所述目标模型中, 得到各输出 结果;
根据包含有隐私数据的输出 结果, 确定所述 安全参数。
2.如权利要求1所述的方法, 根据包含有隐私数据的输出结果, 确定所述安全参数, 具
体包括:
确定包含有隐私数据的输出 结果在所有输出 结果中的占比;
根据所述占比, 确定所述 安全参数。
3.一种调整模型的方法, 所述方法包括:
获取目标模型;
采用预设的第 二模型评估方式, 确定所述目标模型的安全参数, 并根据 所述安全参数,
对所述目标模型进行调整; 其中
所述第二模型评估方式通过以下步骤执 行:
将输入数据输入到所述目标模型中, 得到所述目标模型从所述输入数据中提取出的特
征数据;
将所述特征数据输入预先训练的预测模型, 以通过所述预测模型, 对所述目标模型的
模型结构进行 预测, 得到预测结果;
根据所述预测结果, 确定所述 安全参数。
4.如权利要求3所述的方法, 根据所述预测结果, 确定所述 安全参数, 具体包括:
根据所述预测结果中包含的所述目标模型属于每种 模型结构的预测概率, 确定所述目
标模型属于不同模型 结构的概 率之间的概 率偏差;
根据所述 概率偏差, 确定所述目标模型的安全参数。
5.如权利要求3所述的方法, 预 先训练预测模型, 具体包括:
预先获取各样本特征; 所述各样本特征是指通过不同模型结构的模型所提取的特征数
据;
针对每个样本特征, 将该样本特征输入到待训练的预测模型中, 以通过待训练的预测
模型, 预测提取出该样本特征 的模型对应的模型结构, 作为该样本特征对应的待验证模型
结构;
以预测出的该样本特征对应的待验证模型结构与提取出该样本特征的模型对应的真
实模型结构之间的差异最小化 为优化目标, 对所述预测模型进行训练。
6.如权利要求5所述的方法, 所述方法还 包括:
获取各验证特 征; 所述各验证特 征为通过不同模型 结构的模型 所提取的特 征数据;
针对每个验证特征, 将该验证特征输入到训练后的预测模型中, 以通过训练后的预测
模型, 预测提取 出该验证特 征的模型对应的模型 结构, 作为该验证特 征对应的模型 结构;
根据每个验证特征对应的模型结构, 确定所述预测模型的预测准确率, 以根据所述预
测准确率, 对所述预测模型进行验证。权 利 要 求 书 1/2 页
2
CN 115495776 A
27.一种调整模型的方法, 所述方法包括:
获取目标模型;
针对预设的每种模型评估方式, 确定在该种模型评估方式下, 所述目标模型的安全参
数;
根据每种模型评估方式下所述目标模型的安全参数, 对所述目标模型进行调整, 其中,
所述模型评估方式包括: 如权利要求1~2任一的第一模型评估方式、 如权利要求3~6任一
的第二模型评估方式。
8.如权利要求7所述的方法, 根据每种 模型评估方式下所述目标模型的安全参数, 对所
述目标模型进行调整, 具体包括:
若根据任意一种 模型评估方式下所述目标模型的安全参数, 确定所述目标模型存在安
全风险, 则对所述目标模型进行调整。
9.一种调整模型的装置, 包括:
获取模块, 用于获取目标模型;
确定模块, 用于采用预设的第 一模型评估方式, 确定所述目标模型的安全参数, 并根据
所述安全参数, 对所述目标模型进行调整; 其中
所述确定模块, 将各输入数据输入到所述目标模型中, 得到各输出结果; 根据包含有隐
私数据的输出 结果, 确定所述 安全参数。
10.一种调整模型的装置, 包括:
获取模块, 获取目标模型;
确定模块, 用于采用预设的第 二模型评估方式, 确定所述目标模型的安全参数, 并根据
所述安全参数, 对所述目标模型进行调整; 其中
所述确定模块, 将输入数据输入到所述目标模型中, 得到所述目标模型从所述输入数
据中提取出的特征数据; 将所述特征数据输入预先训练的预测模型, 以通过所述预测模型,
对所述目标模型的模 型结构进 行预测, 得到预测结果; 根据所述预测结果, 确定所述安全参
数。
11.一种调整模型的装置, 包括:
获取模块, 获取目标模型;
确定模块, 用于针对预设的每种模型评估方式, 确定在该种模型评估方式下, 所述目标
模型的安全参数;
调整模块, 用于根据每种模型评估方式下所述目标模型的安全参数, 对所述目标模型
进行调整, 其中, 所述模型评估方式包括: 如权利要求1~2任一的第一模型评估方式、 如权
利要求3~6任一的第二模型评估方式。
12.一种计算机可读存储介质, 所述存储介质存储有计算机程序, 所述计算机程序被处
理器执行时实现上述权利要求1 ‑8任一项所述的方法。
13.一种电子设备, 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算
机程序, 所述处 理器执行所述程序时实现上述权利要求1 ‑8任一项所述的方法。权 利 要 求 书 2/2 页
3
CN 115495776 A
3
专利 一种调整模型的方法、装置、存储介质及电子设备
文档预览
中文文档
19 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共19页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-18 22:30:06上传分享