(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210392643.X (22)申请日 2022.04.14 (65)同一申请的已公布的文献号 申请公布号 CN 114898249 A (43)申请公布日 2022.08.12 (73)专利权人 烟台创迹软件 有限公司 地址 264000 山东省烟台市经济技 术开发 区长江路161号天马大厦2401室 (72)发明人 闫凤图　刘兵　盖程鹏　张剑　 曙光　李想　 (74)专利代理 机构 烟台上禾知识产权代理事务 所(普通合伙) 37234 专利代理师 赵加鑫 (51)Int.Cl. G06V 20/40(2022.01)G06V 20/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/75(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 113723251 A,2021.1 1.30 CN 111311848 A,2020.0 6.19 CN 109409175 A,2019.0 3.01 JP 201719 9234 A,2017.1 1.02 秦琪.目标跟踪算法研究及 在视频监控中的 应用. 《知网》 .2021, 审查员 郭晓坤 (54)发明名称 用于购物车内商品数量确认的方法、 系统及 存储介质 (57)摘要 本发明公开了一种用于购物车内商品数量 确认的方法、 系统及存储介质， 该方法包括： 步骤 S1： 在购物过程中， 实时获取购物车内图像， 并对 图像进行预处理， 得到处理后图像； 步骤S2： 对处 理后图像进行基于深度学习模型的目标检测与 跟踪， 得到第一轨迹， 对处理后图像进行基于数 字图像处理的目标检测与跟踪， 得到第二轨迹； 步骤S3： 有商品扫码操作的商品进出购物车时， 根据第一轨迹， 进行购物行为判断， 未进行商品 扫码操作的商品进出购物车时， 根据第二轨迹， 进行购物行为判断， 得到判断结果； 步骤S4： 当购 物车内商品数量与扫码商品数量不一致时， 在购 物车端对顾客进行提醒， 和/或， 将不一致信息 反 馈至超市端。 权利要求书2页 说明书7页 附图3页 CN 114898249 B 2022.12.13 CN 114898249 B 1.一种用于购物车内商品数量确认的方法， 其特 征在于， 包括： 步骤S1： 在购物过程中， 实时获取购物车内图像， 并对所述购物车内图像进行预处理， 得到处理后图像； 步骤S2： 对所述处理后图像进行基于深度学习模型的目标检测与跟踪， 得到手的运动 轨迹， 即第一轨迹， 对所述处理后图像进 行基于数字图像处理的目标检测与 跟踪， 得到运动 物体的运动轨 迹， 即第二轨 迹， 所述第一轨 迹和所述第二轨 迹的获取同时进行； 步骤S3： 有商品扫码操作的商品进出购物车时， 根据所述第一轨迹， 进行购物行为判 断， 未进行商品扫码操作的商品进出购物车时， 根据所述第二轨迹， 进行购物行为判断， 得 到判断结果； 分别判断所述第一轨迹和所述第二轨迹是否结束， 对于结束的轨迹判断其是否有效， 对于未结束的轨迹， 记录轨迹信息并转入步骤S1， 对于有效的第一轨迹或有效的第二轨迹 进行购物行为判断； 其中， 所述第一轨迹或所述第二轨迹的预留帧数大于第一预设阈值时， 轨迹结束， 否 则， 轨迹未结束； 所述轨迹长度大于第二预设阈值时， 轨 迹有效， 否则， 轨 迹无效； 有商品扫码操作的商品进出购物车时， 根据有效的第一轨迹， 进行购物行为判断， 包 括： 步骤S31： 根据所述有效的第一轨迹的帧数， 将所述有效的第一轨迹划分为第一部分、 第二部分和第三部分； 步骤S32： 获取所述第一部分中， 手部持有商品与未持有商品的第一比例， 所述第一比 例大于第三预设阈值， 商品进入购物车， 否则， 商品未进入购物车； 步骤S33： 获取所述第三部分中， 手部持有商品与未持有商品的第二比例， 所述第二比 例大于第四预设阈值， 商品从购物车拿出， 否则， 商品仍在 购物车内； 未进行商品扫码操作的商品进出购物车时， 根据有效的第 二轨迹， 进行购物行为判断， 包括： 步骤S34： 根据所述有效的第二轨 迹的动作方向， 对商品进出购物车进行判断； 步骤S4： 所述判断结果中， 当购物车内商品数量与扫码商品数量不一致时， 在购物车端 对顾客进行提醒， 和/或， 将不 一致信息反馈 至超市端。 2.根据权利要求1所述的方法， 其特征在于， 所述步骤S2中， 对所述处理后图像进行基 于深度学习模型的目标检测与跟踪， 得到第一轨 迹， 包括： 步骤S21： 检测所述处理后图像中是否有手， 存在手时， 转入步骤S22， 否则， 转入步骤 S23； 步骤S22： 计算手部检测框和现有检测轨迹是否匹配， 匹配时， 将当前帧图像添加至匹 配轨迹中， 得到第一轨 迹； 步骤S23： 轨 迹置为预留状态， 经 过预设时间 间隔后， 轨 迹置为结束状态。 3.根据权利要求1或2所述的方法， 其特征在于， 所述步骤S2中， 对所述处理后图像进行 基于数字图像处 理的目标检测与跟踪， 得到第二轨 迹， 包括： 步骤S24： 检测所述处理后图像中是否存在运动物体， 存在运动物体时， 转入步骤S25， 否则， 转入步骤S26；权　利　要　求　书 1/2 页 2 CN 114898249 B 2步骤S25： 将当前帧图像添加至匹配轨 迹中， 得到第二轨 迹； 步骤S26： 轨 迹置为预留状态。 4.根据权利要求3所述的方法， 其特 征在于， 所述 步骤S3中， 所述得到判断结果， 包括： 商品进入购物车， 且商品仍在 购物车内， 得到判断结果 为拿进商品； 商品未进入购物车， 且商品从购物车拿出， 得到判断结果 为拿出商品； 商品进入购物车， 且商品从购物车拿出， 得到判断结果 为更换商品； 商品未进入购物车， 且商品仍在 购物车内， 得到判断结果 为空手进出； 光流方向为远离购物车， 得到判断结果为商品掉出， 所述光流方向为指向购物车， 得到 判断结果 为拿进商品。 5.一种用于购物车内商品数量确认的系统， 其特 征在于， 包括： 购物车， 用于放置商品； 图像获取终端， 设置于所述购物车任一侧面上方， 所述图像获取装置用于实时获取购 物车容置范围内图像； 扫码终端， 用于对商品进行扫码 操作； 结算终端， 结合获取到的所述购物车容置范围内图像和商品扫码信 息， 根据权利要求1 至4中任一项所述的用于购物车内商品数量确认的方法， 进行购物车内商品数量确认。 6.一种存储介质， 其特征在于， 所述存储介质存储有计算机指令， 所述指令被处理器执 行时实现权利要求1至4中任一项所述的用于购物车内商品数量确认的方法。权　利　要　求　书 2/2 页 3 CN 114898249 B 3