(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211387968.5 (22)申请日 2022.11.07 (71)申请人 中国医学 科学院北京协和医院 地址 100005 北京市东城区王府井帅府园1 号 (72)发明人 杨萌　王坤　王铭　何雪磊　 赵辰阳　姜玉新　张睿　李雪兰　 (74)专利代理 机构 北京市中 闻律师事务所 11388 专利代理师 冯梦洪 (51)Int.Cl. G06V 10/764(2022.01) G06T 7/246(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01)A61B 8/08(2006.01) A61B 8/00(2006.01) (54)发明名称 多模态超声图像的RA活动度深度学习方法 及装置 (57)摘要 多模态超声图像的RA活动度深度学习方法 与装置， 能够对RA患者以静态图像或视频剪辑形 式获得的GS和PD图像进行处理， 从而更客观和可 靠地对疾病活动进行分类。 方法包括以： （1） 静态 模型建立； （2） 动态模型建立； （3） 采用 均数±标 准差SDs来描述定量参数， 包括临床评分和实验 室数据； 采用受试者工作特征ROC曲线分析来说 明DL评分模型的预测性能； 采用Delong检验来比 较ROC曲线； 以超声医生的评价作为金标准， 计算 模型中每种二元分类的敏感性和特异性。 权利要求书2页 说明书6页 附图1页 CN 115439701 A 2022.12.06 CN 115439701 A 1.多模态超声图像的RA活动度深度学习方法， 其特 征在于： 其包括以下步骤： （1） 静态模型建立： 静态灰阶SGS和静态能量多普勒SPD图像采集采用JPG或BMP格式， 感 兴趣区域ROI是使用视觉对象标记工具VOTT， 通过简单地拖动图像上的一个矩形框来手动 选择的， 然后所有ROI都被调整为 128×128像素， 分别对 灰阶多普勒GS和能量多普勒PD建立 了两个模型， 网络结构相同； （2） 动态模型建立： 为每个视频片段在一帧上选择动态灰阶DGS或动态能多普勒DPD图 像的初始矩形ROI， 然后， 通过来自开源计算机视觉库OpenCV的多实例学习MIL自动跟踪视 频中所有帧上的矩形ROI， 视频采样为128帧， 每帧64* 64像素； （3） 采用 均数±标准差SDs来描述定量参数， 包括临床评分和 实验室数据； 采用受试者 工作特征ROC曲线分析来说明DL评分模型的预测性能； 采用Delong检验来比较ROC曲线； 以 超声医生的评价作为金 标准， 计算模型中每种二元分类的敏感性和特异性。 2.根据权利要求1所述的多模态超声图像的RA 活动度深度学习方法， 其特征在于： 所述 步骤 （1） 中， 使用ImageNet对ResNet50模型进行预训练， 然后， 设计一个注意力模块A M， 并与 resnet50模型结合， 进一 步捕捉ROI的重要特 征。 3.根据权利要求2所述的多模态超声图像的RA 活动度深度学习方法， 其特征在于： 所述 步骤 （2） 中， 开发GS和PD视频的两个模型， 分别命名为DGS和DPD模型， 它们由ImageNet上预 训练的ResNet50和双向长短时记忆Bi ‑LSTM构建， ResNet50提取空间特征， Bi ‑LSTM提取时 间特征。 4.根据权利要求3所述的多模态超声图像的RA 活动度深度学习方法， 其特征在于： 所述 步骤 （3） 中， 通过测试队列中152张超声图像的预测 和诊断来确定总体准确性AC C。 5.根据权利要求4所述的多模态超声图像的RA 活动度深度学习方法， 其特征在于： 所述 步骤 （3） 中， 将多位超声医生根据他们的超声 经验被分为三组： 高年超声医师>10年、 资深超 声6～9年、 初年超声医师3～5  年； 所有统计检验均为双侧检验， P  < 0.05为统计显著性水 平。 6.多模态超声图像的RA活动度深度学习装置， 其特 征在于： 其包括： 静态模型建立模块， 静态灰阶SGS和 静态能量多普勒SPD图像采集采用JPG或BMP格式， 感兴趣区域ROI是使用视觉对象标记工具VOTT， 通过简单地拖动图像上的一个矩形框来手 动选择的， 然后所有ROI都被调整为128 ×128像素， 分别对 灰阶多普勒GS和能量多普勒PD建 立了两个模型， 网络结构相同； 动态模型建立模块， 为每个视频片段在一帧上选择动态灰阶DGS或动态能多普勒DPD图 像的初始矩形ROI， 然后， 通过来自开源计算机视觉库OpenCV的多实例学习MIL自动跟踪视 频中所有帧上的矩形ROI， 视频采样为128帧， 每帧64* 64像素； 分析模块， 采用均数 ±标准差SDs来描述定量参数， 包括临床评分和 实验室数据； 采用 受试者工作特征ROC曲线分析来说明DL评 分模型的预测性能； 采用Delong检验来比较ROC曲 线； 以超声医生的评价作为金 标准， 计算模型中每种二元分类的敏感性和特异性。 7.根据权利要求6所述的多模态超声图像的RA 活动度深度学习装置， 其特征在于： 所述 静态模型建立模块中， 使用ImageNet对ResNet50模 型进行预训练， 然后， 设计一个注意力模 块AM， 并与ResNet5 0模型结合， 进一 步捕捉ROI的重要特 征。 8.根据权利要求7所述的多模态超声图像的RA 活动度深度学习装置， 其特征在于： 所述权　利　要　求　书 1/2 页 2 CN 115439701 A 2动态模型建立模块中， 开发GS和PD视频的两个模型， 分别命名为DGS和DPD模型， 它们由 ImageNet上预训练的ResNet50和双向长短时记忆Bi ‑LSTM构建， ResNet50提取空间特征， Bi‑LSTM提取时间特 征。 9.根据权利要求8所述的多模态超声图像的RA 活动度深度学习装置， 其特征在于： 所述 分析模块中， 通过测试队列中152张超声图像的预测 和诊断来确定总体准确性AC C。 10.根据权利要求9所述的多模态超声图像的RA活动度深度学习装置， 其特征在于： 所 述分析模块中， 将多位超声医生根据他们的超声经验被分为三组： 高年超声医师>10年、 资 深超声6～9年、 初年超声医师3～5  年； 所有统计检验均为双侧检验， P  < 0.05为统计显著 性水平。权　利　要　求　书 2/2 页 3 CN 115439701 A 3