(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211387018.2 (22)申请日 2022.11.07 (71)申请人 京东科技信息技 术有限公司 地址 100176 北京市大兴区经济技 术开发 区科创十一 街18号院2号楼6层6 01 (72)发明人 曹俊豪　张立平　王希予　裴积全　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 骆文欣 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种神经网络结构的搜索方法、 装置、 设备 及存储介质 (57)摘要 本发明公开了一种神经网络结构的搜索方 法、 装置、 设备及存储介质， 该方法包括： 响应于 获取到训练数据集的训练属性参数， 基于训练属 性参数， 生成初始神经网络结构； 对初始神经网 络结构执行结构生长操作， 生成目标搜索空间； 其中， 目标搜索空间中包含至少两个第一神经网 络结构， 各第一神经网络结构中神经元的数量不 同和/或神经元的通道数量不同； 基于目标搜索 空间中的各第一神经网络结构分别对应的验证 性能参数， 对各第一神经网络结构进行筛选， 得 到第二神经网络结构； 基于第二神经网络结构和 预设搜索条件， 确定目标神经网络结构。 本发明 实施例解决了传统的搜索空间范围过大的问题， 降低了神经网络 搜索过程中的计算资源消耗 量。 权利要求书4页 说明书16页 附图6页 CN 115545171 A 2022.12.30 CN 115545171 A 1.一种神经网络结构的搜索方法， 其特 征在于， 包括： 响应于获取到训练数据集的训练属性参数， 基于所述训练属性参数， 生成初始神经网 络结构； 对所述初始神经网络结构执行结构生长操作， 生成 目标搜索空间； 其中， 所述目标搜索 空间中包含至少两个第一神经网络结构， 各所述第一神经网络结构中神经元的数量不同 和/或神经 元的通道数量 不同； 基于所述目标搜索空间中的各所述第 一神经网络结构分别对应的验证性 能参数， 对各 所述第一神经网络结构进行筛 选， 得到第二神经网络结构； 基于所述第二神经网络结构和预设搜索条件， 确定目标神经网络结构。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 二神经网络结构和预设搜 索条件， 确定目标神经网络结构， 包括： 如果所述第 二神经网络结构的训练性 能参数满足预设搜索条件， 则将所述第 二神经网 络结构作为目标神经网络结构； 如果所述第 二神经网络结构的训练性 能参数不满足预设搜索条件， 将所述第 二神经网 络结构作为初始神经网络结构， 并返回执行对所述初始神经网络结构执行结构生长操作， 生成目标搜索空间的步骤。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述初始神经网络结构执行结构生 长操作， 生成目标搜索空间， 包括： 对所述初始神经网络结构执行阶段生长操作， 得到第 三神经网络结构； 其中， 所述阶段 生长操作包括在所述初始神经网络结构中添加新的神经 元的操作； 对所述第 三神经网络结构执行深度生长操作， 生成 目标搜索空间； 其中， 所述深度生长 操作包括对所述第三神经网络结构中的神经 元和通道进行分裂的操作。 4.根据权利要求3所述的方法， 其特征在于， 所述返回执行对所述初始神经网络结构执 行结构生长操作， 生成目标搜索空间的步骤， 包括： 判断所述初始神经网络结构的饱和参数 是否满足预设饱和条件； 如果是， 则返回执行对所述初始神经网络结构执行阶段生长操作， 得到第三神经网络 结构的步骤； 如果否， 则将所述初始神经网络结构作为第三神经网络结构， 返回执行对所述第三神 经网络结构执 行深度生长操作， 生成目标搜索空间的步骤； 其中， 所述预设饱和条件包括所述初始神经网络结构的当前验证准确率小于上一 次迭 代得到的初始神经网络结构对应的上一验证准确率， 且所述初始神经网络结构中阶段神经 元集合的数量小于所述训练数据集对应的图像尺 寸的对数值与第一数值之和， 同一阶段神 经元集合中各阶段神经元分别对应的输入分辨率相同， 各所述阶段神经元集合分别对应的 输入分辨 率不同。 5.根据权利要求3所述的方法， 其特征在于， 所述对所述初始神经网络结构执行阶段生 长操作， 得到第三神经网络结构， 包括： 基于所述初始神经网络结构中最后一个神经元对应的分辨率， 生成新增神经元； 其中， 所述新增神经元对应的初始分辨 率是所述最后一个神经 元对应的分辨 率的预设倍数； 基于所述 新增神经元、 新增池化层和所述初始神经网络结构， 生成第三神经网络结构。权　利　要　求　书 1/4 页 2 CN 115545171 A 26.根据权利要求5所述的方法， 其特征在于， 所述新增神经元的卷积核的尺寸为预设初 始化尺寸， 卷积核的初始化权 重为单位矩阵。 7.根据权利要求3所述的方法， 其特征在于， 在对所述第 三神经网络结构执行深度生长 操作， 生成目标搜索空间之前， 所述方法还 包括： 基于第一预设训练次数， 对所述第三神经网络结构执行不完全训练操作， 得到训练后 的第三神经网络结构。 8.根据权利要求3所述的方法， 其特征在于， 对所述第 三神经网络结构执行深度生长操 作， 生成目标搜索空间， 包括： 基于所述第 三神经网络结构对应的阶段神经元集合的数量， 生成初始搜索空间； 其中， 同一阶段神经元集合中各阶段神经元分别对应的输入分辨率相同， 各所述阶段神经元集合 分别对应的输入分辨 率不同， 所述初始搜索空间中包 含至少两个第三神经网络结构； 针对所述初始搜索空间中的每个第 三神经网络结构， 基于所述第 三神经网络结构在所 述初始搜索空间中的标识序号， 确定所述第三神经网络结构对应的目标阶段神经元集合以 及分裂类型； 基于所述目标阶段神经元集合和所述分裂类型， 对所述第 三神经网络结构执行深度生 长操作， 得到第一神经网络结构； 基于至少两个所述第一神经网络结构， 生成目标搜索空间。 9.根据权利要求8所述的方法， 其特征在于， 所述基于所述第 三神经网络结构在所述初 始搜索空间中的标识序号， 确定所述第三神经网络结构对应的目标阶段神经元集合以及分 裂类型， 包括： 基于所述第三神经网络结构在所述初始搜索空间中的标识序号， 确定目标输入分辨 率， 并将与所述目标输入分辨 率对应的阶段神经 元集合作为目标阶段神经 元集合； 如果所述标识序号满足预设序号范围， 则将所述第 三神经网络结构对应的分裂类型设 置为通道分裂 类型； 如果所述标识序号不满足预设序号范围， 则将所述第 三神经网络结构对应的分裂类型 设置为神经 元分裂类型。 10.根据权利要求9所述的方法， 其特征在于， 所述基于所述目标阶段神经元集合和所 述分裂类型， 对所述第三神经网络结构执 行深度生长操作， 得到第一神经网络结构， 包括： 如果所述分裂类型为通道分裂类型， 则基于验证数据集和所述第三神经网络结构， 确 定所述目标阶段神经 元集合中各阶段神经 元的各通道分别对应的通道 平均梯度； 基于各所述通道平均梯度， 确定生长通道集合， 并对所述生长通道集合中各通道分别 执行分裂操作， 得到第一神经网络结构。 11.根据权利要求10所述的方法， 其特征在于， 所述对所述生长通道集合中各通道分别 执行分裂操作， 得到第一神经网络结构， 包括： 针对所述生长通道集合中的每个通道， 将所述通道对应的第 一分裂通道和第 二分裂通 道执行并联操作， 并基于求和函数、 并联的第一分裂通道和 第二分裂通道， 生成所述通道对 应的通道分裂结构； 基于各所述通道分裂结构， 生成第一神经网络结构。 12.根据权利要求11所述的方法， 其特征在于， 所述第 一分裂通道对应的第 一通道权重权　利　要　求　书 2/4 页 3 CN 115545171 A 3