(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211333571.8 (22)申请日 2022.10.28 (71)申请人 杭州东上智能科技有限公司 地址 311202 浙江省杭州市萧 山区经济技 术开发区明星路371号1幢812- 6 (72)发明人 姜伟昊　佘清顺　李烈锋　黄俊杰　 王志辉　孙清　钱冠梁　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 郑海峰 (51)Int.Cl. G06V 40/18(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于改进FRST结合卷积神经网络的瞳 孔定位方法和系统 (57)摘要 本发明提出了一种基于改进FRST结合卷积 神经网络的瞳孔定位方法和系统， 属于图像处理 和计算机视觉领域。 首先基于瞳孔定位的快速径 向对称变换改进方法(F RSTFPL)对图像中的瞳孔 进行大致定位， 接着再接入浅层卷积神经网络 (CNN)实现精准定位。 结果表明， 本发明提出的方 法在尺寸为640 ×480像素的图像中的定位误差 为8.51个像素， 相比仅采用FRSTFPL和仅采用浅 层CNN的方法， 精度分为提升了11 .31％和 37.46％。 本发明提出的方法不需要精准的半径 信息和复杂的网络结构， 就能在高效自动化、 低 计算复杂度的同时拥有较高的定位精度。 权利要求书3页 说明书8页 附图1页 CN 115546882 A 2022.12.30 CN 115546882 A 1.一种基于改进FRST结合卷积神经网络的瞳孔定位方法， 其特 征在于， 包括如下步骤： S1： 利用快速径向对称变换改进方法对人眼输入图像中的像素进行处理， 得到在固定 半径范围内的瞳孔 粗定位图像； S2： 利用浅层卷积神经网络对步骤S1得到瞳孔粗定位 图像进行精确定位， 得到最终的 瞳孔定位结果。 2.根据权利要求1所述的一种基于改进FRST结合卷积神经网络的瞳孔定位方法， 其特 征在于， 步骤S1所述的快速径向对称变换改进方法包括如下步骤： S1‑1： 对于人 眼输入图像中的像素p， 将沿其梯度g(p)方向半径距离为n的像素变换为 正投影像素P+ve(p)， 变换 过程为： 其中， 表示g(p)表示像素点p的梯度幅值， round(*)表示将所求值四舍五入为整数， ||* ||表示求范数； S1‑2： 根据步骤S1 ‑1得到的正投影像 素P+vw(p)， 生成梯度方向投影矩阵On和梯度幅值投 影矩阵Mn； S1‑3： 根据步骤S1 ‑2得到的梯度方向投影矩阵On和梯度幅值 投影矩阵Mn， 生成图像在单 个输入半径n下的径向对称中心 矩阵Sn， 计算过程如下： Sn＝Fn*An 其中， Fn(p)为输入 半径n下的像素点p的径向对称特征， Fn为输入半径n下全部像素点的 径向对称特征， α 为径向程度参数， An为二维高斯核函 数， max(*)为求最大值函数， Mn(p)为梯 度幅值投影矩阵中对应 像素点p位置的值； S1‑4： 根据步骤S1 ‑3得到的径向对称中心矩阵Sn， 对所有输入半径距离n下的径向对称 中心矩阵Sn累加并求均值， 得到均值径向对称中心 矩阵 计算过程如下： 其中， |N|为半径范围N中半径 距离n的个数。 S1‑5： 根据步骤S1 ‑4得到的均值径向对称中心矩阵 进行归一化处理， 得到在固定半 径范围内瞳孔的粗定位图像S。 3.根据权利要求2所述的一种基于改进FRST结合卷积神经网络的瞳孔定位方法， 其特 征在于， 步骤S1 ‑5中对均值径向对称中心 矩阵 进行归一 化处理过程如下： 其中， 为均值径向对称中心矩阵中对应像素点p位置的值， 所有像素点对应的 值构成最后的变换结果S， 即粗定位图像； S(p)为归一化后的均值径向对称中心矩阵中对应 像素点p位置的值， mi n(*)为求最小值函数， max(*)为 求最大值函数。权　利　要　求　书 1/3 页 2 CN 115546882 A 24.根据权利要求2所述的一种基于改进FRST结合卷积神经网络的瞳孔定位方法， 其特 征在于， 步骤S1 ‑2中， 所述梯度方向投影矩阵On的生成方法为： 初始化梯度方向投影矩阵On 为0矩阵， 对于人眼输入图像的每个像素点的正投影像素， 分别在On中将该正投影像素位置 对应的数值+1， 直至遍历人眼输入图像中的所有像素点； 所述梯度幅值投影矩阵Mn的生成方法为： 初始化梯度幅值投影矩阵Mn为0矩阵， 对于人 眼输入图像的每个像素点的正投影像素， 分别在Mn中将该正投影像素位置对应的数值+||g (p)||， 直至遍历人眼输入图像中的所有像素点。 5.根据权利要求1所述的一种基于改进FRST结合卷积神经网络的瞳孔定位方法， 其特 征在于， 步骤S2所述浅层卷积神经网络包含一个卷积核 大小为5×5和卷积核个数为64的第 一卷积层、 一个卷积核大小为4 ×4和卷积核个数为128的第二卷积层、 一个卷积核大小为4 ×4和卷积核个数为256的第三卷积层以及一个全连接神经网络层； 所述第一卷积层、 第二 卷积层、 第三卷积层和全连接神经网络层串联。 6.根据权利要求1或5所述的一种基于改进FRST结合卷积神经网络的瞳孔定位方法， 其 特征在于， 所述浅层卷积神经网络在训练过程中， 人眼输入图像需要预先标注瞳孔真实位 置， 首先利用快速径向对称变换改进方法对人眼输入图像进行瞳孔粗定位， 再利用瞳孔粗 定位图像训练浅层卷积神经网络， 以范 数L1作为损失函数。 7.一种基于改进FRST结合卷积神经网络的瞳孔定位系统， 其特 征在于， 包括： 瞳孔粗定位模块， 其用于利用快速径向对称变换改进方法对人眼输入图像中的像素进 行处理， 得到在固定半径范围内的瞳孔 粗定位图像； 瞳孔精定位模块， 其用于利用浅层卷积神经网络， 对瞳孔粗定位模块得到的瞳孔粗定 位图像进行精确定位， 得到最终的瞳孔定位结果。 8.根据权利要求7所述的一种基于改进FRST结合卷积神经网络的瞳孔定位系统， 其特 征在于， 所述的瞳孔 粗定位模块包括： 人眼输入图像处理模块， 其对于人眼输入图像中的像素p， 将 沿其梯度g(p)方向半径距 离为n的像素变换为 正投影像素P+ve(p)， 变换 过程为： 其中， 表示g(p)表示像素点p的梯度幅值， round(*)表示将所求值四舍五入为整数， ||* ||表示求范数； 投影矩阵生成模块， 其用于根据人眼输入图像处理模块得到的正投影像素P+ve(p)， 生 成梯度方向投影矩阵On和梯度幅值投影矩阵Mn； 径向对称中心矩阵生成模块， 其用于根据投影矩阵生成模块得到的梯度方向投影矩阵 On和梯度幅值投影矩阵Mn， 生成图像在单个输入半径n下的径向对称中心矩阵Sn， 计算过程 如下： Sn＝Fn*An 其中， Fn(p)为输入 半径n下的像素点p的径向对称特征， Fn为输入半径n下全部像素点的 径向对称特征， α 为径向程度参数， An为二维高斯核函 数， max(*)为求最大值函数， Mn(p)为梯权　利　要　求　书 2/3 页 3 CN 115546882 A 3