(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210390028.5 (22)申请日 2022.04.14 (71)申请人 美宜佳控股有限公司 地址 523000 广东省东莞 市南城街道莞太 路南城段21号2栋 申请人 成都市零方信息科技有限公司 (72)发明人 刘冠军　赵玮玮　赵琛　姚瑶　 范兵　 (74)专利代理 机构 深圳市精英创新知识产权代 理有限公司 4 4740 专利代理师 李翔宇 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/20(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 货架商品检测方法、 装置、 计算机设备及存 储介质 (57)摘要 本发明涉及图像处理技术， 提供了货架商品 检测方法、 装置、 设备及介质， 是先对监测区域图 片基于多目标检测网络进行提取得到待处理货 架区域图片， 然后将其输入至去畸变网络进行去 畸变处理得到矫正图片， 之后将矫正图片基于目 标检测网络进行货架商品逐层区域划分得到货 架商品各层区域划分结果并且基于商品摆放信 息进行划分得到划分后图片， 最后将划分后图片 基于分类网络进行分类得到分类结果集并与商 品摆放信息比对后评分得到每一分类结果对应 的商品摆放检测评分。 实现了基于目标检测和去 畸变网络处理， 自动获取监控图片中货架的监测 区域图片中所存在货架上具体的商品摆放信息 并进行商品摆放检测评分， 提高了货架商品摆放 检测的效率和识别准确率。 权利要求书2页 说明书15页 附图3页 CN 114511820 A 2022.05.17 CN 114511820 A 1.一种货架商品检测方法， 其特 征在于， 包括： 接收图像采集端上传的监测区域图片， 将所述 监测区域图片存 储至预设的存 储区域； 将所述监测区域图片中的货架区域基于预先训练 的多目标检测网络进行提取， 得到待 处理货架区域图片； 将所述待处理货架区域图片输入至预先训练 的去畸变网络进行去畸变处理， 得到矫正 图片； 将所述矫正图片基于预先训练 的目标检测网络进行货架商 品逐层区域划分， 得到货架 商品各层区域划分结果； 将所述货架商品各层区域划分结果基于预设的商品摆放信 息进行划分， 得到划分后图 片； 其中， 所述划分后图片对应的第一货架总层数与所述货架商品各层区域划分结果对应 的第二货架总层数相等， 且所述划分后图片中每一层货架商品区域包括若干个商品划分子 区域； 将所述划分后图片基于预 先训练的分类网络进行分类得到分类结果 集； 以及 将所述分类结果集中每一分类结果基于所述商 品摆放信 息进行分类结果评分， 得到每 一分类结果对应的商品摆放检测评分。 2.根据权利要求1所述的货架商 品检测方法， 其特征在于， 所述将所述监测区域图片中 的货架区域基于预 先训练的多目标检测网络进行提取， 得到待处 理货架区域图片， 包括： 将所述监测区域图片进行归一 化处理， 得到归一 化图片； 获取预先信 息的多目标检测网络， 将所述归一化图片输入至所述多目标检测网络进行 货架区域 提取， 得到若干个候选货架区域； 将所述监测区域图片中若干个候选货架区域对应的区域进行提取， 得到待处理货架区 域图片。 3.根据权利要求2所述的货架商 品检测方法， 其特征在于， 所述将所述归一化图片输入 至所述多目标检测网络进行货架区域 提取， 得到若干个候选货架区域， 包括： 获取预设的第一 概率阈值； 将所述归一化图片基于所述多目标检测网络进行目标检测， 得到多个识别框； 其中， 每 一识别框对应识别分类结果和分类概 率值； 若确定有识别框对应的识别分类结果为货架且对应的分类概率值大于所述第一概率 阈值， 获取对应的识别框以得到若干个候选货架区域。 4.根据权利要求1所述的货架商 品检测方法， 其特征在于， 所述将所述待处理货架区域 图片输入至预 先训练的去畸变网络进行去畸变处 理， 得到矫 正图片， 包括： 将所述待处 理货架区域图片进行归一 化处理， 得到归一 化货架区域图片； 将所述归一 化货架区域图片输入至所述去畸变网络进行处 理， 得到畸变矩阵； 将所述畸变矩阵进行逆变换， 得到逆变换矩阵； 将所述待处 理货架区域图片基于所述逆变换矩阵进行相乘处 理， 得到矫 正图片。 5.根据权利要求4所述的货架商品检测方法， 其特征在于， 所述去畸变网络为包含 Encoder‑Decoder结构的卷积神经网络 。 6.根据权利要求1所述的货架商品检测方法， 其特征在于， 所述目标检测网络是以 DarkNet为主干网络的Si ngle shot目标检测网络；权　利　要　求　书 1/2 页 2 CN 114511820 A 2所述将所述矫正图片基于预先训练 的目标检测网络进行货架商品逐层区域划分， 得到 货架商品各层区域划分结果， 包括： 获取预设的第二 概率阈值； 将所述矫正图片基于所述目标检测网络进行目标检测， 得到多个货架区域识别框； 其 中， 每一货架区域识别框对应一个识别分类概 率值； 若确定有货架区域识别框对应的识别分类概率值大于所述第 二概率阈值， 获取对应的 货架区域识别框以组成货架商品各层区域划分结果。 7.根据权利要求1所述的货架商 品检测方法， 其特征在于， 所述将所述分类结果集中每 一分类结果基于所述商品摆放信息进 行分类结果评 分， 得到每一分类结果对应的商品摆放 检测评分之后， 还 包括： 根据所述商品摆放检测评分生成对应的提醒消息， 将所提醒消息发送至相应的接收 端。 8.一种货架商品检测装置， 其特 征在于， 包括： 检测区域图片获取单元， 用于接收图像采集端上传的监测区域图片， 将所述监测区域 图片存储至预设的存 储区域； 货架区域提取单元， 用于将所述监测区域图片中的货架区域基于预先训练的多目标检 测网络进行提取， 得到待处 理货架区域图片； 去畸变单元， 用于将所述待处理货架区域图片输入至预先训练 的去畸变网络进行去畸 变处理， 得到矫 正图片； 逐层划分单元， 用于将所述矫正图片基于预先训练 的目标检测网络进行货架商 品逐层 区域划分， 得到货架商品各层区域划分结果； 划分单元， 用于将所述货架商品各层区域划分结果基于预设的商品摆放信息进行划 分， 得到划分后图片； 其中， 所述划分后图片对应的第一货架总层数与所述货架商品各层区 域划分结果对应的第二货架总层数相等， 且所述划分后图片中每一层货架商品区域包括若 干个商品划分子区域； 分类单元， 用于将所述划分后图片基于预先训练的分类网络进行分类得到分类结果 集； 以及 分类结果评分单元， 用于将所述分类结果集中每一分类结果基于所述商 品摆放信 息进 行分类结果评分， 得到每一分类结果对应的商品摆放检测评分。 9.一种计算机设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7 中任一项所述的货架商品检测方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序当被处理器执行时使 所述处理器执行如权利要求 1至7任一项 所述的货 架商品检测方法。权　利　要　求　书 2/2 页 3 CN 114511820 A 3