(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210643994.3 (22)申请日 2022.06.08 (71)申请人 浙江壹体科技有限公司 地址 310000 浙江省杭州市滨江区西兴街 道阡陌路459号B楼170 3室 (72)发明人 洪刚　陈豪　 (74)专利代理 机构 杭州天启智汇 专利代理事务 所(普通合伙) 33357 专利代理师 姜智慧 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/42(2022.01) G06V 10/52(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于嵌入式平台的单目行人检测方法、 系 统、 设备及 介质 (57)摘要 本发明为基于嵌入式平台的单目行人检测 方法、 系统、 设备及介质， 涉及图像处理技术领 域， 方法包括： S1:图像采集单元使用单目摄像头 获取当前彩色图像； S2:输入图像采集单元获得 的图像信息； S3: 对图像信息进行预处理， 包括不 失真裁剪为固定尺寸、 归一化校正； S4:使用卷积 神经网络对预处理图像提取不同尺度的特征； S5:融合所述步骤S4中不同尺度的特征， 生成预 选框； S6:依据融合特征进行判别， 并输 出检测结 果； 本发明有效解决单目行人检测精确度低且计 算量大的问题， 具有模型体积、 计算量小， 对设备 算力要求低， 整体操作简单， 检测结果清晰等优 点。 权利要求书3页 说明书11页 附图5页 CN 115147922 A 2022.10.04 CN 115147922 A 1.一种基于嵌入式平台的单目行 人检测方法， 其特 征在于： 包括以下步骤： S1:图像采集单 元使用单目摄 像头获取当前彩色图像； S2:输入图像采集单 元获得的图像信息； S3:对图像信息进行 预处理， 包括不失真裁 剪为固定尺寸、 归一 化校正； S4:使用卷积神经网络对预处 理图像提取不同尺度的特 征； S5:融合所述 步骤S4中不同尺度的特 征， 生成预选 框； S6:依据融合特 征进行判别， 并输出检测结果； 其中， 所述S5具体为： S51:选择提取的若干个特征进行6个不同尺度的融合， 分别对大小成像行人检测， 6个 特征图直接使用回归算法得出6组数据， 每组数据对应的特征图预测的行人置信度得分和 坐标信息， 对6组数据进行融合 参与loss函数计算； S52： 融合特征图生成若干个预选框， 预选框尺寸相对于原图的缩放比例进行， 缩放比 例公式如下： 其中Rmax、 Rmin分别为预设的0.9、 0.2； m是使用的特征图数量， 为6； 将m值代入公式即可 求的缩放比例， 缩放比例在乘以图像尺 寸， 获得了预选框的尺 寸； 对于尺 寸为38*38、 3*3、 1* 1大小的特征图使用{1， 1， 2， 1/2}的长宽比例生成4个预选框； 对于尺寸为19 *19、 10*10、 5*5 按照{1， 1， 2， 1/2， 1/ 3， 1}的长 宽比例生成6个预选 框； S53:使用非极大值抑制对多余的候选框进行滤除， 若预选框与真实框的IoU大于0.5， 则该预选框与真实框匹配； 若剩余预选框真实框有多个大于0.5的IoU， 预选框只与IoU最大 的真实框匹配， 即一个 真实框可能会与多个预选框匹配， 而 预选框只能与一个真实框匹配； 若一个预选框都不能满足以上两种情况， 则将该预选框归结为背 景， 即负样 本； 根据置信度 损失将负样本排序， 按照正负 样本1:3的比例参与反向传播。 2.根据权利要求1所述的一种基于嵌入式平台的单目行人检测方法， 其特征在于： 所述 步骤S4具体包括： S41:对输入图像进行不失真尺寸调整； S42:使用若干个特 征提取基本单 元对固定尺寸大小图像进行处 理； S43:得到感受野不同、 尺度不 一的若干个特 征图。 3.根据权利要求2所述的一种基于嵌入式平台的单目行人检测方法， 其特征在于： 所述 特征提取基本单元包含深度可分离卷积、 最大池化、 批标准化层组成， 使用ReLu6函数作为 激活函数， 更早 地获得权 重的非线性和稀疏性， 同时包 含正则化 算法、 线性残差操作。 4.根据权利要求1所述的一种基于嵌入式平台的单目行人检测方法， 其特征在于： 对不 同步长的特征提取基本单元进行不同的优化， 对步长为1的特征提取基本单元添加 通道注 意力机制， 步长为2的特 征提取单元添加零填充操作。 5.根据权利要求1所述的一种基于嵌入式平台的单目行人检测方法， 其特征在于： 所述 步骤S6具体为： S61： 步骤S5生成的预选框与预设阈值对比， 高于阈值的保留， 否则认为是背景信息并 舍弃；权　利　要　求　书 1/3 页 2 CN 115147922 A 2S62： 保留下来的预选 框与图像标签之间计算损失； S63： 损失满足终止条件， 终止训练过程， 输出检测结果； 如果不满足损失条件， 则将损 失大小反馈给步骤S4， 更新优化网络参数； S64： 重复执 行步骤S6 3， 直至满足 终止条件； S65： 步骤S64执行完成， 输出检测结果， 用户根据检测结果确认是否满足任务需求， 如 满足则保留模型； 不满足， 则清洗图像数据或者优化网络结构， 直至满足任务需求； S66： 依据 步骤S65得到权重类型为32位浮点数的模型， 对模型进一步转换优化， 借助模 型转换工具， 在转换过程中选择合适的优化手段， 将 32位浮点数权重转换为 16位浮点数或8 位整数， 根据任务需求自由选择不同权 重类型的模型。 6.根据权利要求5所述的一种基于嵌入式平台的单目行人检测方法， 其特征在于： 所述 步骤S62中的计算损失由两部分组成， 一部分是置信度损失， 即分类损失； 另外一部分是回 归损失， 即位置损失； 其中分类损失计算公式如下： 其中i代表预测框的序号； j代表标签的序号； p是类别编号， p＝0的时候表 示背景； 表 示第i个预测框匹配的第j个标签的得分， 只有0和1两种情况。 表示第i个预测框预测类别 p的概率。 Pos、 Neg表示 正负样本； S表示匹配的候选 框的数量； 位置损失计算的是 预测框l与标签g之间的Smo oth L1损失， 公式如下： 其中{x,y,w,h}分别表示预测框左上角x、 y轴坐标以及预测框的宽高。 总的损失： 当S＝1时， α 通过交叉验证设置为1。 7.根据权利要求5所述的一种基于嵌入式平台的单目行人检测方法， 其特征在于： 所述 步骤S66中使用的是Tensorflow的TFLite模型转换工具， 优化手段为： 根据网络输入在模型 转换时添加元 数据， 以及 在转换时对算子进行指定 。 8.一种基于嵌入式平台的单目行 人检测系统， 其特 征在于， 包括： 供电单元， 所述供电单 元为整个系统提供电力支持； 中央处理单元， 所述中央处 理单元控制其 他单元并接收各 单元的反馈； 图像采集单 元， 所述图像采集单 元使用单目摄 像头获取当前彩色图像； 图像数据处理单元， 所述图像数据处理单元接受图像采集单元获得图像和中央处理单 元发出的指 令， 根据指 令对图像进 行预处理、 特征提取、 特征融合、 识别操作， 获得当前图像 是否包含行人目标结果， 并反馈给中央处 理单元；权　利　要　求　书 2/3 页 3 CN 115147922 A 3