(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211038862.4 (22)申请日 2022.08.29 (71)申请人 北京智源人工智能研究院 地址 100084 北京市海淀区中关村东路1号 院8号楼三层B201D-1 (72)发明人 肖宏旺　黄文灏　叶启威　董思维　 史业民　舒彧　曹岗　黄铁军　 (74)专利代理 机构 北京动力号知识产权代理有 限公司 1 1775 专利代理师 梁艳 (51)Int.Cl. G06F 16/215(2019.01) G06F 21/60(2013.01) G06F 21/62(2013.01) G06N 20/00(2019.01)G06F 21/55(2013.01) (54)发明名称 一种基于联邦学习构建医学影像大模型的 方法和装置 (57)摘要 本发明公开了基于联邦学习构建医学影像 大模型的方法和装置， 属于医学人工智能技术领 域。 方法用于服务端， 包括： 利用医学影像公开数 据进行预训练， 得到全局初始化大模型； 将所述 全局初始化大模 型分发至各个客户端； 利用各个 客户端上传的各自对应的本地大模型生成全局 大模型， 其中， 本地大模型是各个客户端利用本 地医学影像数据对所述全局初始化大模型进行 优化训练得到的。 本发明通过联邦学习的方式， 充分发挥了集中化公开数据和各医院私有数据 的协同价值， 实现了高效、 安全地共建医学影像 大模型， 提升模型稳定性和泛化能力， 促进人工 智能医学影像应用的发展， 赋能医院端医疗影像 AI系统， 最终为社会大众带来更高的医用价 值。 权利要求书2页 说明书8页 附图1页 CN 115408377 A 2022.11.29 CN 115408377 A 1.一种基于联邦学习构建医学影像大模型的方法， 其特征在于， 用于服务端， 所述方法 包括： 利用医学影 像公开数据进行 预训练， 得到全局初始化大模型； 将所述全局初始化大模型分发至各个客户端； 利用各个客户端上传的各自对应的本地大模型生成全局大模型， 其中， 本地大模型是 各个客户端利用本地医学影 像数据对所述全局初始化大模型进行优化训练得到的。 2.如权利要求1所述的基于联邦学习构建医学影像大模型的方法， 其特征在于， 在所述 利用医学影 像公开数据进行 预训练之前还 包括： 利用自然图像数据集进行集中化预训练。 3.如权利要求1所述的基于联邦学习构建医学影像大模型的方法， 其特征在于， 还包 括： 利用各个客户端上传的各自对应的本地更新大模型生成全局更新大模型， 其中， 本地 更新大模型是各个客户端利用本地更新的医学影像数据对所述全局大模型或所述全局更 新大模型进行优化训练得到的。 4.如权利要求1所述的基于联邦学习构建医学影像大模型的方法， 其特征在于， 在利用 医学影像公开数据进行 预训练之前还 包括： 为各个客户端下发统一的自动 化数据处理脚本， 以使服务端和各个客户端利用该自动 化数据处 理脚本进行 数据处理； 所述自动 化数据处理脚本用于针对各种医学影像自动判断影像模态， 并将各个模态数 据转换为统一格式数据。 5.如权利要求4所述的基于联邦学习构建医学影像大模型的方法， 其特征在于， 在利用 医学影像公开数据进行 预训练之前还 包括： 为各个客户 端下发统一的数据投毒检测模型， 以使服务端和各个客户 端在数据处理 后， 利用该 数据投毒检测模型进行 数据自检， 清除掉异常数据或脏数据。 6.如权利要求1所述的基于联邦学习构建医学影像大模型的方法， 其特征在于， 所述利 用医学影 像公开数据进行 预训练包括： 采用Masked  AutoEncoders作为训练框架， 利用大规模无标注的医学影像公开数据， 以 自监督学习的方式进行 预训练。 7.如权利要求1所述的基于联邦学习构建医学影像大模型的方法， 其特征在于， 所述利 用各个客户端上传的各自对应的本地大模型生成全局大模型包括： 利用模型投毒检测模型对各个客户端上传的各自对应的本地大模型进行投毒攻击检 测； 将没有投毒攻击的各本地大模型进行安全聚合， 生成全局大模型。 8.如权利要求1所述的基于联邦学习构建医学影像大模型的方法， 其特征在于， 所述各 个客户端利用本地医学影 像数据对所述全局初始化大模型进行优化训练包括： 各个客户端利用本地医学影像数据对所述全局初始化大模型进行超参数自动优化， 得 到各个客户端各自对应的本地大模型。 9.一种基于联邦学习构建医学影像大模型的装置， 其特征在于， 用于服务端， 所述装置 包括： 全局初始化大模型生成模块， 用于利用医学影像公开数据进行预训练， 得到全局初始权　利　要　求　书 1/2 页 2 CN 115408377 A 2化大模型； 分发模块， 用于将所述全局初始化大模型分发至各个客户端； 全局大模型生成模块， 用于利用各个客户端上传的各自对应的本地大模型生成全局大 模型， 其中， 本地大模型是各个客户端利用本地医学影像数据对所述全局初始化大模型进 行优化训练得到的。 10.一种电子设备， 其特征在于， 包括处理器和与所述处理器连接的存储器， 所述存储 器存储有多条指令， 所述指令可被所述处理器加载并执行， 以使所述处理器能够执行如权 利要求1‑8任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115408377 A 3