(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111639338.8 (22)申请日 2021.12.2 9 (71)申请人 西安理工大 学 地址 710048 陕西省西安市碑林区金花 南 路5号 (72)发明人 杨延西　刘磊　匡益　 (74)专利代理 机构 西安弘理专利事务所 61214 专利代理师 许志蛟 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/26(2022.01) G06V 10/75(2022.01) G06K 9/62(2022.01) G06Q 30/02(2012.01)G01G 19/00(2006.01) (54)发明名称 基于深度学习的货架动态商品识别与顾客 购物匹配方法 (57)摘要 本发明公开的一种基于深度学习的货架动 态商品识别与顾客购物匹配方法， 包括以下步 骤： 采集顾 客购买行为视频流和货架对应区域重 力感应数据， 并实时传到后台服务器； 通过后台 服务器中训练好的商品检测网络和顾客轨迹网 络中解析处理视频流数据； 在检测时间序列中判 断商品拿出和放入状态； 根据关键帧中商品检测 框和顾客轨迹框中心点坐标距离匹配顾客ID与 所拿商品； 根据货架对应区域实时重力感应数 据， 辅助判断顾客拿出放入商品， 生成购买清单。 本发明可以同时对多名顾客的购买行为进行识 别， 使用场景更为灵活， 而且使用视觉和重力感 应双重判断， 识别过程稳定性强， 抗干 扰能力强。 权利要求书2页 说明书6页 附图3页 CN 114529847 A 2022.05.24 CN 114529847 A 1.基于深度学习的货架动态商品识别与顾客购物匹配方法， 其特征在于， 具体包括如 下步骤： 步骤1， 顾客在检测区域发生购买行为， 摄像头a采集货架前顾客购买行为视频流， 重力 传感器采集货架对应区域 实时重力感应数据， 视频流与重力感应数据同时回传到后台服务 器； 步骤2， 对步骤1采集的视频流， 逐帧图像输入到商品检测网络和顾客轨迹检测网络， 得 到商品检测框与顾客轨 迹框； 步骤3， 在检测时间序列中， 通过商品检测框在图像中的移动， 判断商品拿出和放入状 态； 步骤4， 根据关键帧中商品检测框和顾客轨迹框中心点坐标距离匹配顾客ID与所拿商 品； 步骤5， 根据货架对应区域实时重力感应数据， 辅助判断顾客拿出放入商品， 生成购买 清单。 2.如权利要求1所述的基于深度学习的货架动态商品识别与顾客购物匹配方法， 其特 征在于， 所述 步骤2中构建商品检测网络的具体过程 为： 步骤2.1.1， 搭建图像采集平台， 采集 不同角度的商品图像并进行 人工标注； 步骤2.1.2， 对采集到的商品图像进行水平或垂直翻转、 镜像和旋转操作扩充商品数据 集； 步骤2.1.3， 通过分割单一商品图像与货架背景生成真实场景商品数据集； 步骤2.1.4， 将采集的商品数据集、 扩充的商品数据集和合成的商品数据集按照8： 1： 1 的比例划分为训练集、 验证集和 测试集； 步骤2.1.5， 使用YOLOv5目标检测网络对划分好的数据集进行训练， 得到商品检测网 络。 3.如权利要求2所述的基于深度学习的货架动态商品识别与顾客购物匹配方法， 其特 征在于， 所述 步骤2.1.3具体包括以下步骤： 步骤2.1.3.1， 对单个商品图像分别以一 倍和两倍标注框进行裁 剪； 步骤2.1.3.2， 对两倍标注框大小的图像进行Saliency ‑Detection， 将前后景区分开 来； 步骤2.1.3.3， 将步骤2.1.3.2得到的结果通过CRF条件随机场进行细化处理， 对结果进 行一倍标注框 裁剪， 得到细化的分离结果； 步骤2.1.3.4， 将步骤2.1.3.3得到的结果与一倍标注框商品图进行累加， 之后将黑色 背景透明化得到分割过后的商品图像； 步骤2.1.3.5， 对所有种类商品分割后的结果图， 以每张图五件商品， 遮挡率不超过 50％与货架背景图合成真实场景商品数据集。 4.如权利要求3所述的基于深度学习的货架动态商品识别与顾客购物匹配方法， 其特 征在于， 所述 步骤2中顾客轨 迹检测过程包括： 步骤2.2.1， 对步骤1采集视频流按视频帧顺序处 理； 步骤2.2.2， 读取当前帧中顾客检测框位置； 步骤2.2.3， 对顾客检测框进行轨 迹处理和状态估计：权　利　要　求　书 1/2 页 2 CN 114529847 A 2状态估计在一个八维状态空间上定义， 如下 所示： 其中， (u， v)为检测框中心位置， γ为长宽比， h为高度， 为u， v， γ， h在图像 坐标的速度； 步骤2.2.4， 匹配行 人目标检测框和有效轨 迹， 采用运动匹配度和表 观匹配度： 步骤2.2.5， 通过Matc hing Cascade关联遮挡过后的目标， 得到最终的轨 迹ID。 5.如权利要求4所述的基于深度学习的货架动态商品识别与顾客购物匹配方法， 其特 征在于， 所述步骤2.2.4中， 运动匹配度： 使用第j个检测 框和第i个轨迹检测 框之间的马氏 距离描述 运动匹配度d(1)(i,j)： d(1)(i,j)＝(dj‑yi)TSi‑1(dj‑yi)； 其中， (yi,Si)表示第i个轨迹分布到测量空间的投影， dj表示第j个检测框状态； yi表示 第i个轨迹检测框在当前时刻的预测值， Si表示由卡尔曼滤波器得到的第i个轨迹检测框在 当前时刻观测空间的协方差矩阵； 表观匹配度： 使用第j个检测框和第 i个轨迹检测框的深度 特征向量之间的最小余弦距 离描述表 观匹配度d(2)(i,j)： 其中， ri表示第j个检测 框的外观描述符， 表示第i个轨迹检测 框的深度特征向量； 深 度特征向量通过在行人重识别数据集MARS上训练CNN模型获得； Ri表示第i个轨迹检测框过 去成功跟踪物体 检测框后对应的特 征向量集合。 6.如权利要求1所述的基于深度学习的货架动态商品识别与顾客购物匹配方法， 其特 征在于， 所述 步骤4具体包括以下步骤： 步骤4.1， 通过步骤2得到的结果 生成所有 商品和顾客检测框的坐标向量： Ci＝[(x， y)， (m， n)]； Pj＝[(p， q)， (e， f)]； 其中， Ci为第i个顾客轨迹框的坐标向量， (x， y)为第i个顾客轨迹框左上坐标， (m， n)为 第i个顾客轨迹框右下坐标， 其中Pj为第j个商品检测框坐标向量， (p， q)为第j个商品的检 测框左上坐标， (e， f)为第j个商品的检测框右下坐标； 步骤4.2， 计算当前帧中第i个顾客的轨迹框x＜p,y＜q,m＞e,n＞f与所有商品的匹配 集合Mi， 其中， Mi∈Pj,Mi中x＜p,y＜q,m＞e,n＞f； 步骤4.3， 若商品j同时属于多个顾客的匹配集合， 则计算商品j与所有匹配顾客的检测 框中心点 坐标距离并排序， 将距离最近的结果作为商品j与顾客的最终匹配结果。 7.如权利要求1所述的基于深度学习的货架动态商品识别与顾客购物匹配方法， 其特 征在于， 所述 步骤5具体包括以下步骤： 步骤5.1， 顾客从货架拿出了商品的瞬 间， 货架重力传感器回传当前货架重量减少； 步骤5.2， 根据步骤4的最终匹配结果得出顾客与所拿商品匹配， 结合步骤5.1的重力感 应数据确认 顾客购买了商品， 生成购买清单。权　利　要　求　书 2/2 页 3 CN 114529847 A 3