(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210971424.7 (22)申请日 2022.08.12 (71)申请人 厦门市美亚柏科信息股份有限公司 地址 361000 福建省厦门市思明区软件园 二期观日路12号102-402单 元 (72)发明人 陈思萌　赵建强　陈诚　彭闯　 张辉　韩名羲　 (74)专利代理 机构 厦门福贝知识产权代理事务 所(普通合伙) 35235 专利代理师 郭涵炜 (51)Int.Cl. G06Q 50/00(2012.01) G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/80(2022.01)G06F 40/295(2020.01) (54)发明名称 一种基于多模态数据的社交关系分析方法、 系统和存 储介质 (57)摘要 本发明提出一种基于多模态数据的社交关 系分析方法， 包括： S1， 提取人员的社交文本和社 交图像信息， 分别转换为文本特征和图像特征， 并统计人员亲密度， 基于人员亲密度构建人员社 交网络图； S2， 将文本特征和图像特征输入基于 transformer的多模态融合模型， 获得融合特征； S3， 采用Si ‑SCAN图聚类算法对人员社交网络图 进行分析， 获得社交关系聚类结果， 其中， Si ‑ SCAN图聚类算法通过在SCAN算法基础上引入人 员亲密度和融合特征信息构建。 本发明基于文 本、 图像两个模态的信息对社交关系进行深入分 析， 通过多模态信息融合模型的设计， 学习跨模 态间的交互关系， 生成多模态融合的图节点嵌入 表征。 通过图聚类分析， 实现对社交网络的深层 关系分析， 能够有效发现潜在的社交关联。 权利要求书2页 说明书9页 附图3页 CN 115293920 A 2022.11.04 CN 115293920 A 1.一种基于多模态数据的社交关系分析 方法， 其特 征在于， 包括以下步骤： S1， 提取人员的社交文本和社交图像信息， 分别转换为文本特征和图像特征， 并统计人 员亲密度， 基于所述人员亲密度构建人员社交网络图； S2， 将所述文本特征和图像特征输入基于transformer的多模态融合模型， 获得融合特 征； S3， 采用Si ‑SCAN图聚类算法对所述人员社交网络图进行分析， 获得社交关系聚类结 果， 所述Si ‑SCAN图聚类算法通过在SCAN算法基础上引入所述人员亲密度和所述融合特征 信息构建。 2.根据权利要求1所述的一种基于多模态数据的社交关系分析方法， 其特征在于， S2包 括： 将所述文本特 征和图像特 征拼接后输入所述多模态融合模型的编码器。 3.根据权利要求2所述的一种基于多模态数据的社交关系分析方法， 其特征在于， S2还 包括： 构建文本 ‑图像特征对Z0＝[CLS， E， SEP， Q]， 其中， E为人员i的文本特征， Q为人员i的图 像特征， [CLS]为标识符， [ SEP]为分隔符； 构建文本位置编码和图像位置编码； 将文本特 征和文本位置编码、 图像特 征和图像位置编码分别相加， 输入到所述编码器； 选用最后一层编码器的标识符位置的输出向量作为融合特 征向量z。 4.根据权利要求1所述的一种基于多模态数据的社交关系分析方法， 其特征在于， S1所 述构建人员社交网络图包括， 以人员作为所述人员社交网络图的节点， 在同一张社交图像 中出现的两个人员所对应的节点间由一条 无向边连接 。 5.根据权利要求1所述的一种基于多模态数据的社交关系分析方法， 其特征在于， S3所 述Si‑SCAN图聚类算法中节点相似度包括结构相似度、 人员亲密度和融合特 征相似度。 6.根据权利要求5所述的一种基于多模态数据的社交关系分析 方法， 其特 征在于， 所述结构相似度为两节点的共同邻居数与几何平均数的比值， 用公式表示 为： 其中， σ1(v， w)为节点v和 节点w的结构相似度， Γ(v)、 Γ(w)分别为节点v、 w的邻居节点 的集合； 所述人员亲密度用公式表示 为： σ2(v， w)＝α·p(v， w) 其中， σ2(v， w)为节点v和节点w的人员亲密度， p(v， w)为两个节点在社交图像中的共现 次数， α 为调节系数； 所述融合特 征相似度用公式表示 为： 其中， σ3(v， w)为节点v和节点w的融合特征相似度， zv、 zw分别为节点v、 w的融合特征向 量； 节点v和节点 w的节点相似度σ(v， w)用公式表示 为： σ(v， w)＝σ1(v， w)+σ2(v， w)+σ3(v， w)。权　利　要　求　书 1/2 页 2 CN 115293920 A 27.根据权利要求1所述的一种基于多模态数据的社交关系分析方法， 其特征在于， S1具 体包括： 采用BiLSTM‑CRF模型从社交文本中提取文本标签信息； 采用词向量模型将所述文本标签信息转换为文本特 征。 8.根据权利要求1所述的一种基于多模态数据的社交关系分析方法， 其特征在于， S1具 体包括： 选用FACENet模型提取图像特 征。 9.一种基于多模态数据的社交关系分析系统， 其特 征在于， 包括： 信息提取和特征转换模块， 配置用于提取人员的社交文本和社交图像信息， 分别转换 为文本特 征和图像特 征， 并统计人员亲密度， 基于所述人员亲密度构建人员社交网络图； 多模态数据融合模块， 配置用于将所述文本特征和图像特征输入基于transformer的 多模态融合模型， 获得融合特 征； 社交关系聚类模块， 配置用于采用Si ‑SCAN图聚类算法对所述人员社交网络图进行分 析， 获得社交关系聚类结果， 所述Si ‑SCAN图聚类算法在S CAN算法基础上引入 所述人员亲密 度和所述融合特 征信息。 10.一种用于基于多模态数据的社交关系分析的计算机可读存储介质， 其上存储有一 或多个计算机程序， 其特征在于， 该一或多个计算机程序被计算机处理器执行时实施权利 要求1至8任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115293920 A 3