(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210516894.4 (22)申请日 2022.05.13 (71)申请人 南京林业大 学 地址 210037 江苏省南京市龙蟠路159号 (72)发明人 成锋娜　韩欣　韦郡涛　周宏平　 茹煜　张玉言　姜胜芹　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 杜静静 (51)Int.Cl. G06V 10/52(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于在线掩膜感知的多尺度目标个数统计 网络 (57)摘要 本发明公开了一个基于在线掩膜感知的多 尺度目标个数统计网络， 包括以下步骤： 1)将数 据集样本分辨率调整为8的倍数， 分别构建训练、 验证及测试数据集； 2)训练过程， 对训练数据执 行在线增广； 3)构建多尺度目标个数统计网络； 4)基于训练数据集对在线掩膜感知网络的参数 进行训练， 5)将保存的模型参数在测试数据集测 试， 得出测试数据集的目标统计结果。 本发明设 计了在线掩膜感知模块， 自动感知网络中丰富的 语义信息， 降低网络的学习难度。 同时设计了多 尺度学习模块， 使得网络根据目标尺度的变化学 习其重要特征。 本发明可实现高密度目标的个数 统计及分布预测， 可实现行人、 车辆、 果实等目标 的个数统计 。 权利要求书2页 说明书4页 附图1页 CN 114998616 A 2022.09.02 CN 114998616 A 1.一种基于在线掩膜感知的多尺度目标个数统计网络， 其特征在于， 所述方法包括以 下步骤： 步骤S1： 将数据集样本分辨 率调整为8的倍数， 分别构建训练、 验证及测试 数据集； 步骤S2:训练过程， 对训练数据执 行在线增广； 步骤S3： 构建多尺度目标个数统计网络； 步骤S4： 基于训练数据集对在线掩膜感知网络的参数进行训练， 将训练过程中的参数 在验证数据集中测试， 保存使得验证集平均绝对误差最小的模型参数； 步骤S5： 将保存的模型参数在测试 数据集测试， 得 出测试数据集的目标统计结果。 2.根据权利要求1所述的基于在线掩膜感知的多尺度目标个数统计网络， 其特征在于， 步骤S1中， 具体如下： 步骤S1‑1： 将数据集中的样本分辨 率调整为8的倍数； 步骤S1‑2： 使用Labelme软件以点标注的方式对目标中心点进行标定， 建立样本点标 签； 步骤S1‑3： 使用高斯 函数将样本点标签转换成高斯密度图。 3.根据权利要求2所述的基于在线掩膜感知的多尺度目标个数统计网络， 其特征在于， 步骤S1‑3中， 高斯密度图的转换 具体如下： 式中， x是样本给定像素坐标xj的邻域坐标， 此处默认为224邻域， xj表示样本点标签的 第j个坐标， g(g)表示方差为σ 的高斯核， || ·||表示二范数， l表示所转换样本的点标注集 合。 4.根据权利要求1所述的基于在线掩膜感知的多尺度目标个数统计网络， 其特征在于， 所述步骤S2对训练数据执 行在线增广， 具体如下， 步骤S2‑1： 图像随机 剪切； 步骤S2‑2： 以0.5的概 率进行图像水平翻转； 步骤S2‑3： 以0.3的概 率进行图像伽马校正， 校正系数 范围为0.5～1.5 。 5.根据权利要求1所述的基于在线掩膜感知的多尺度目标个数统计网络， 其特征在于， 所述步骤S3的多尺度目标个数统计网络， 具体如下： 步骤S3‑1： 搭建主干网络用于样本特 征提取； 步骤S3‑2： 特征转换模块通过堆叠的卷积层对主干网络提取的样本特征进行转换， 输 出为Fea； 步骤S3‑3： 构建在线掩膜感知模块 提取前景、 背景信息， 输出为M； 步骤S3‑4： 多尺度学习模块将样本转换特征进行多尺度学习， 同时融合步骤S3 ‑3的特 征， 输出多尺度特 征表示Fanx； 步骤S3‑5： 通过对步骤S3 ‑4的卷积， 得到密度图的估计。 6.根据权利要求5所述的基于在线掩膜感知的多尺度目标个数统计网络， 其特征在于， 所述步骤S3‑1的主干网络通过 预训练VG G 16的前10层构建。 7.根据权利要求5所述的基于在线掩膜感知的多尺度目标个数统计网络， 其特征在于，权　利　要　求　书 1/2 页 2 CN 114998616 A 2所述步骤S3‑3的在线掩膜感知模块， 通过如下公式实现： 式中， x是输入特征， 是ReLU操作， θ(g)是so ftmax操作， exp(g)是指数操作， k和b是 两个给定常数， I是与x特 征相同维度的全为1的张量。 8.根据权利要求5所述的基于在线掩膜感知的多尺度目标个数统计网络， 其特征在于， 所述步骤S3 ‑4的多尺度学习模块， 通过不同尺度的卷积学习步骤S 3‑2的输出Fea， 将学习的 结果与步骤S3 ‑3的输出M沿通道维聚集在一起， 然后经过1*1卷积层维度转换后， 输出Fs1， 同时将步骤S3 ‑2的输出Fea通过较大卷积核进行学习， 得到特征Fs2， 然后将Fs1+Fs2求加和 操作， 输出最终的多尺度感知的特 征Fanx。 9.根据权利要求1所述的基于在线掩膜感知的多尺度目标个数统计网络， 其特征在于， 步骤S4中， 包括以下步骤： 步骤S4‑1： 使用VGG在ImageNet预训练的参数对步骤S3 ‑1建立的主干网络进行初始化； 步骤S3中其 他网络的参数使用方差为0以及标准差 0.01的随机方式进行初始化； 步骤S4‑2： 通过S3中创建的网络进行密度估计； 步骤S4‑3： 计算网络的损失； 步骤S4‑4： 使用优化器对网络参数进行优化； 步骤S4‑5： 使用验证集对选择最优的训练参数。 10.根据权利要求1或9所述的基于在线掩膜感知的多尺度目标个数统计网络， 其特征 在于， 步骤S4 ‑3中， 使用MSE损失函数进行损失的计算： MSE＝1/2| |x‑y||2 其中x样本通过网络后步骤S4 ‑2的输出， y表示样本经 过S1‑3生成的高斯密度图； 步骤S4‑4通过Adam优化策略对网络进行参数 学习。权　利　要　求　书 2/2 页 3 CN 114998616 A 3