(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211223500.2 (22)申请日 2022.10.08 (71)申请人 东莞市亚太未来软件 有限公司 地址 523773 广东省东莞 市松山湖园区科 技四路15号1栋 302室 (72)发明人 沈小莲　郭文科　张凌峰　卢钊雄　 (74)专利代理 机构 深圳市中科创为专利代理有 限公司 4 4384 专利代理师 尹益群　杨春 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06V 10/50(2022.01) G06V 10/28(2022.01)G06Q 10/10(2012.01) G06Q 50/20(2012.01) G08B 7/06(2006.01) G08B 21/24(2006.01) (54)发明名称 一种远程 教育数据采集分析方法、 设备及计 算机存储介质 (57)摘要 本申请涉及远程 教育技术领域， 具体涉及一 种远程教育的数据处理过程， 具体为一种远程教 育数据采集分析方法、 设备及计算机存储介质； 通过获取到的视频图像进行处理用于用户端采 集到的用户进行是否为目标用户， 以及目标用户 是否为真实用户的判断。 并且通过配置有行为异 常行为识别模型实现对于上课过程中的用户的 实时视频图像数据进行异常行为特征进行获取， 并且基于异常行为特征确定异常行为从而判断 在上课阶段过程中用户的异常行为， 实现了在远 程教育过程中对于上课学生的监 督和管理。 权利要求书3页 说明书11页 附图2页 CN 115546692 A 2022.12.30 CN 115546692 A 1.一种远程教育数据采集分析 方法， 其特 征在于， 包括以下 方法： 获取实时用户的第一视频图像， 基于所述第一视频图像与存储的基础图像进行比对， 得到第一比对结果， 基于所述第一比对结果确定实时用户的真实性， 确定目标用户； 获取所述第 一视频图像的多时间段的视频帧的图像特征， 基于所述图像特征确定目标 用户的实时状态， 基于实时状态确定目标用户的真实状态； 以预设时间节点采集真实用户的实时图像信 息， 基于预设的行为识别模型对所述实时 图像信息进行比对， 识别异常行为； 基于异常行为发送对应的提醒信息 至真实用户的用户端； 基于所述第一视频图像与存储的基础图像进行比对， 得到第一比对结果， 包括以下方 法： 获取所述第一视频图像的关键帧图像； 提取所述关键帧图像的特征信 息， 将所述关键帧图像的特征信 息与预设的基础图像的 特征信息进行比对， 得到所述关键帧图像的特征信息与所述基础图像的特征信息的相似 度， 基于预设的相似度阈值得到第一比对结果； 基于所述第一比对结果确定目标用户的真实性， 确定目标用户， 包括以下 方法： 当所述相似度大于等于所述相似度阈值， 确定实时用户为目标用户； 当所述相似度小于所述相似度阈值， 确定实时用户为非目标用户。 2.根据权利要求1所述的远程教育数据采集分析方法， 其特征在于， 获取所述第 一视频 图像的关键帧图像， 包括以下 方法： 提取多个时间段的所述第一视频图像的多帧图像， 获取多个帧图像； 对所述多个帧图像进行二 值化处理， 得到二 值化处理的第一帧图像； 提取多个所述第一帧图像的轮廓， 比较多个所述第一帧图像轮廓的面积大小， 面积最 大的为所述关键帧图像。 3.根据权利要求2所述的远程教育数据采集分析方法， 其特征在于， 提取所述关键帧图 像的特征信息包括提取所述关键帧图像中用于表征目标用户状态的目标图像， 基于所述目 标图像提取 特征信息； 提取所述关键帧图像中用于表征目标用户状态的目标图像， 包括以下 方法： 基于确定的关键帧图像确定所述关键帧图像对应的二 值化处理的第一帧图像； 获取所述第一帧图像的灰度直方图， 基于所述灰度直方图计算分割阈值； 基于所述分割阈值， 生成所述第 一帧图像的二值化的掩膜图， 其中， 所述二值化的掩膜 图中像素值为第一值的区域包括所述主体， 所述二值化的掩膜图中像素值为第二值的像素 为背景像素； 对所述二值化的掩膜图进行修正处理， 得到修正掩膜图， 所述修正处理用于抠除像素 值为所述第一 值的区域中的背景像素； 基于所述 修正掩膜图抠除所述原 始图像的背景， 得到目标图像。 4.根据权利要求3所述的远程教育数据采集分析方法， 其特征在于， 获取所述第 一视频 图像的多时间段的视频帧的图像特征， 基于所述图像特征确定目标用户的实时状态， 基于 实时状态确定目标用户的真实状态， 包括以下 方法： 获取所述第一视频图像的多时间段的视频帧， 对多时间段的视频帧进行二值化处理，权　利　要　求　书 1/3 页 2 CN 115546692 A 2得到多个时间段的第一帧图像； 基于多时间段的所述第一帧图像轮廓面积的变化率， 确定目标用户的实时状态， 包括 以下方法： 基于相邻时间段的所述第一帧图像轮廓面积的变化率， 确定第一实时状态； 基于相隔 时间段的所述第一帧图像轮廓面积的变化率， 确定第二实时状态； 基于任意两个时间段 的 所述第一帧图像 轮廓面积的变化 率， 确定第三实时状态； 基于所述第一实时状态、 所述第二实时状态和所述第三实时状态确定目标实时状态。 5.根据权利要求3所述的远程教育数据采集分析方法， 其特征在于， 获取所述第 一视频 图像的多时间段的视频帧的特征， 基于所述特征确定目标用户的实时状态， 基于实时状态 确定目标用户的真实状态， 包括以下 方法： 获取多时间段的视频帧的中多个目标区域的特 征， 所述特 征为目标区域的位置参数； 比较多时间段中任一目标区域的坐标参数的变化 值是否处于阈值范围； 获取多时间段的视频帧的中多个目标区域的位置参数包括： 获取所述目标区域的频域数据； 对所述频域数据进行滤波， 确定滤波输出结果中最大值所在的位置参数为所述目标区 域的位置参数。 6.根据权利要求1所述的远程教育数据采集分析方法， 其特征在于， 以预设时间节点采 集真实用户的实时图像信息， 基于预设的行为识别模型对所述实时图像信息进行比对， 识 别异常行为， 包括以下 方法： 基于所述行为识别模型对所述实时图像信息进行特征提取获取用于表征异常行为的 异常行为特 征， 所述行为识别模型为满足收敛要求的卷积神经网络； 基于预设的特 征‑行为映射关系将所述异常行为特 征转换为异常行为信息； 所述行为识别模型以CenterNet为主干网络， 所述CenterNet的主干网络包括 Hourglass网络和ResNet ‑50网络， 每个网络通道输出对应的原始特征图， 分别对原始特征 图处理得到每个网络通道的特征权重， 将不同的网络通道的特征权重再作用到原始的特征 图对应的网络通道， 对原 始特征重标定后融合。 7.根据权利要求6所述的远程教育数据采集分析方法， 其特征在于， 基于异常行为发送 对应的提醒信息 至真实用户的用户端， 包括以下 方法： 获取所述异常行为信 息的异常标签， 基于所述异常标签与预设的异常行为数据库中对 应相同异常标签的提醒信息进 行匹配获得目标提醒策略， 基于所述目标提醒策略将所述目 标提醒信息发送至真实用户的用户端； 所述提醒信息包括文字提醒、 语音提醒中任意一种 或多种。 8.一种远程教育数据采集分析装置， 其特 征在于， 包括： 目标用户 确定模块， 用于基于所述第一视频图像与存储的基础图像进行比对， 得到第 一比对结果， 基于所述第一比对结果确定实时用户的真实性， 确定目标用户； 真实状态确定模块， 用于获取所述第一视频图像的多时间段的视频帧的图像特征， 基 于所述图像特 征确定目标用户的实时状态， 基于实时状态确定目标用户的真实状态； 异常行为识别模块， 用于以预设时间节点采集真实用户的实时图像信息， 基于预设的 行为识别模型对所述实时图像信息进行比对， 识别异常行为；权　利　要　求　书 2/3 页 3 CN 115546692 A 3