(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111669557.0 (22)申请日 2021.12.3 0 (71)申请人 百富计算机技 术 （深圳） 有限公司 地址 518057 广东省深圳市南 山区深圳软 件园3栋401、 402 (72)发明人 张琦　张先桂　葛天浩　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 代理人 任敏 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01)G06Q 30/02(2012.01) (54)发明名称 商品结算处理方法、 装置、 终端设备及存储 介质 (57)摘要 本申请适用于计算机技术领域， 提供了一种 商品结算处理方法、 装置、 终端设备及存储介质， 该方法包括： 获取从N个拍摄角度对结算区域拍 摄得到的N张第一图像， N为大于1的正整数； 分别 识别每张第一图像中的商品， 获得所述N张第一 图像各自对应的初步识别结果； 根据获取到的N 组初步识别结果确定最终识别结果， 其中， 所述 最终识别结果中包括结算区域内商品的类别和 数量； 根据所述最终识别结果结算所述结算区域 内的商品。 上述方法可以提高商品识别的准确 率， 进而提高商品结算的准确率。 权利要求书3页 说明书13页 附图2页 CN 114299395 A 2022.04.08 CN 114299395 A 1.一种商品结算处 理方法， 其特 征在于， 包括： 获取从N个拍摄角度对结算区域拍摄得到的N张第一图像， N 为大于1的正整数； 分别识别每张第一图像中的商品， 获得 所述N张第一图像各自对应的初步识别结果； 根据获取到的N组初步识别结果确定最终识别结果， 其中， 所述最终识别结果中包括所 述结算区域内商品的商品类别和数量； 根据所述 最终识别结果结算所述结算区域内的商品。 2.如权利要求1所述的商 品结算处理方法， 其特征在于， 所述第 一图像的初步识别结果 包括所述第一图像中每 个商品的商品类别和相似度； 所述分别识别每张第一图像中的商品， 获得所述N张第一图像各自对应的初步识别结 果， 包括： 检测所述第一图像中每 个商品的局部图像； 获取所述第一图像中每张所述局部图像的第一特 征向量； 对于每个所述第 一特征向量， 计算所述第 一特征向量与第 一预设商 品特征库中的每个 第二特征向量之间的相似度， 得到所述第二特征向量中与所述第一特征向量的相似度最高 的目标特征向量； 确定所述第一特征向量对应商品的商品类别为所述目标特征向量对应的目标商品类 别， 并确定所述商品的相似度为所述目标 特征向量与所述第一特 征向量之间的相似度。 3.如权利要求2所述的商 品结算处理方法， 其特征在于， 所述检测所述第 一图像中每个 商品的局部图像， 包括： 将所述第一图像输入第一检测模型， 获得 所述第一图像中每 个商品的位置信息； 根据每个商品的位置信息从第一图像中检测出每 个商品的局部图像。 4.如权利要求2所述的商品结算处理方法， 其特征在于， 所述根据获取到的N组初步识 别结果确定最终识别结果， 包括： 将基准组与一个非基准组进行匹配， 得到第一中间识别结果， 其中， 所述基准组为所述 N组初步识别结果中的任意一组初步识别结果， 所述 非基准组为所述N组初步识别结果中除 所述基准组外的初步识别结果； 将所述基准组更新为所述第 一中间识别结果， 并将更新后的基准组与 下一个非基准组 进行匹配， 直到获得最后一个非基准组与所述基准组匹配后的第二中间识别结果； 确定所述 最终识别结果 为所述第二中间识别结果。 5.如权利要求4所述的商 品结算处理方法， 其特征在于， 所述初步识别结果还包括所述 第一图像中每 个商品的质心坐标； 所述将基准组与一个非基准组进行匹配， 得到第一中间识别结果， 包括： 将所述非基准组中每个商品的质心坐标进行坐标转换， 得到每个商品的转换坐标， 其 中， 所述非基准组中每个商品的转换坐标与所述基准组中每个商品的质心 坐标同属一个坐 标系； 计算所述非基准组中第j个商 品的转换坐标到所述基准组中每个商 品的质心坐标的距 离， 得到多个距离值， j为小于或等于 M的正整数， 所述M为所述非基准组中商品的个数； 若所述多个距离值中存在目标距离， 且目标距离有且仅有一个， 则将第 一目标值、 第二 目标值和所述基准组中所述目标距离对应的商品的质心 坐标生成商品匹配结果， 并将所述权　利　要　求　书 1/3 页 2 CN 114299395 A 2商品匹配结果添加至所述第一中间识别结果中， 并将所述目标距离对应的商品的初步识别 结果从所述基准组中删除， 其中， 所述目标距离为所述多个距离值中满足预设阈值范围、 且 数值最小的距离值； 所述第一 目标值为第一结果和第二结果中最大 的相似度； 所述第二 目 标值为所述第一结果和所述第二结果中最大的相似度对应的商品类别； 所述第一结果为所 述非基准组中所述第j个商品的初始识别结果； 所述第二结果为所述基准组中所述 目标距 离对应的商品的初始 识别结果； 若所述多个距离值均为位于所述预设阈值范围之外的距离值， 则将所述非基准组中所 述第j个商品的初步识别结果添加至所述第一中间识别结果中； 在所述非基准组中每个商 品均参与 结果匹配计算后， 若所述基准组中还存在剩余的商 品的初步识别结果， 则将所述剩余的商品的初步识别结果添加至所述第一中间识别结果 中。 6.如权利要求1所述的商 品结算处理方法， 其特征在于， 所述根据 所述最终识别结果结 算所述结算区域内的商品， 包括： 从第一预设商品数据库中获取所述最终识别结果中每个商 品的重量， 并计算得到第 一 商品总重量； 获取通过重量感应装置测得的所述结算区域内的第二商品总重量； 判断所述第一商品总重量与所述第二商品总重量之差是否在预设误差范围内； 若所述第一商品总重量与 所述第二商品总重量之差在所述预设误差范围内， 则将根据 所述最终识别结果结算所述结算区域内的商品。 7.如权利要求1所述的商品结算处 理方法， 其特 征在于， 所述方法还 包括： 获取新增商 品类别的第 一商品的基本信 息， 并将所述基本信 息添加至第 二预设商品数 据库中； 多次获取所述第一商品位于所述结算区域不同位置时， 对所述第一商品从所述N拍摄 角度拍摄得到的第二图像； 当所述第二图像的数量达到第 一预设数量， 检测所述第 一预设数量的所述第 二图像中 所述第一商品的局部图像； 获取所述第一预设数量的所述第一商品的局部图像的第三特 征向量； 将所述第一商品的商品类别和所述第三特 征向量添加至第二预设商品特 征库中。 8.一种商品结算处 理装置， 其特 征在于， 包括： 第一获取模块， 用于获取从N个拍摄角度对结算区域拍摄得到的N张第一图像， N为大于 1的正整数； 第一处理模块， 用于分别识别每张第 一图像中的商品， 获得所述N张第 一图像各自对应 的初步识别结果； 第二处理模块， 用于根据获取到的N组初步识别结果确定最终识别结果， 其中， 所述最 终识别结果中包括所述结算区域内商品的商品类别和数量； 商品结算模块， 用于根据所述 最终识别结果结算所述结算区域内的商品。 9.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7 任一项所述的商品结算处 理方法。权　利　要　求　书 2/3 页 3 CN 114299395 A 3