(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210757152.0 (22)申请日 2022.06.30 (71)申请人 中科苏州智能计算 技术研究院 地址 215123 江苏省苏州市苏州工业园区 金鸡湖大道88号人工智能产业园D1单 元 (72)发明人 蒋树强　闵巍庆　梅舒欢　苏海涛　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 陈忠辉 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06Q 50/12(2012.01) (54)发明名称 一种团餐场景菜品数据合成方法 (57)摘要 本发明公开了一种团餐场景菜品数据合成 方法， 通过对单个菜品进行前后景分离、 分割、 背 景合成、 菜品拼接， 合成目标识别所需的数据， 具 体流程包括： S1： 对数十类以上的单个菜品图像 分别进行分割， 并获得分割mask区域； S2： 采集盘 子的背景图像， 并对背景图像进行3 ×2区域划 分； S3： 通过mixup进行随机菜品和背景盘子的拼 接， 生成团餐场景菜品训练数据。 应用该数据合 成方法生成用于团餐场景菜品识别算法模型训 练的数据集， 减少了对标签数据的需求， 节约了 人力成本； 而且增强了目标识别算法下训练数据 的泛化能力， 有利于提高模型训练过程中新菜品 特征的学习效率和识别精度。 权利要求书1页 说明书3页 CN 115205627 A 2022.10.18 CN 115205627 A 1.一种团餐场景菜 品数据合成方法， 其特征在于： 通过对单个菜 品进行前后景分离、 分 割、 背景合成、 菜品拼接， 合成目标识别所需的数据， 包括： S1： 对数十类以上的单个菜品图像分别进行分割， 并获得分割mask区域； S2： 采集盘子的背景图像， 并对背景图像进行3 ×2区域划分； S3： 通过mixup进行随机菜品和背景盘子的拼接， 生成团餐场景菜品训练数据。 2.根据权利要求1所述的团餐场景菜 品数据合成方法， 其特征在于： S1中对单个菜品图 像作RBG空间至LAB空间的转换。 3.根据权利要求1所述的团餐场景菜 品数据合成方法， 其特征在于： S1中设所述单个菜 品图像大小为M*N， 并预定义参数K， 将单个菜品图像分割为K个超像素块， 每个超像素块范 围大小内包 含有[ （M*N） /K]个 像素， 每个超像素块的长、 宽 定义为S， 且S=sqr t(M*N/K)。 4.根据权利要求1所述的团餐场景菜 品数据合成方法， 其特征在于： S1中还包括通过差 分方式的梯度计算， 调整超像素块中心点的位置 。 5.根据权利要求1所述的团餐场景菜 品数据合成方法， 其特征在于： S1中还包括基于像 素块中心点的聚类操作。 6.根据权利要求1所述的团餐场景菜 品数据合成方法， 其特征在于： S3中所述拼接的过 程为： S31、 输入一个待拼菜品的mask图片x， 并将之融合在S2的背景图像的随机抽取区域y （m） 中， 将两张图片对应的每 个像素值直接相加， 得到混合张量x1， x1=i*x+(1 ‑i)*y （m） ， 其中融合比例i∈[0， 1]之间的随机实数， y指的是背景图片划分 后的区域， m为区域编号； S32、 将S31得到的混合张量x1传递至累加器， 并在累加器中随机输入另一个待拼菜品 的mask图片， 重复执 行S31的图片融合； S33、 按预设拼接量融合所有待拼菜品的， 并输出餐盘数据作为后续训练所用的数据 集。权　利　要　求　书 1/1 页 2 CN 115205627 A 2一种团餐场景菜品数据 合成方法 技术领域 [0001]本发明涉及一种对应目标检测、 目标分割 的深度学习所需使用的数据集合成方 法， 尤其涉及一种团餐场景 下擦品数据合成方法， 属于数字图像处 理技术领域。 背景技术 [0002]随着信息化智能化的发展， 传统食堂面临着 “信息化、 智能化 ”的转型升级需求。 本 方案通过大数据、 云计算、 人工智能和移动互联网技术， 对传统团餐从库存管理、 移动端管 理、 智能化结算及用户端饮食健康管理等方面进行全方面升级， 助力 信息团餐新动态。 [0003]应用深度学习方法进行目标检测或目标分割， 需要通过标注、 训练、 推 理的连续过 程进行菜品检测。 但是实用环境下有诸多难点， 第一、 对数据需求量大， 但是实际使用场景 中， 很难采集完整的数据； 第二、 实际应用过程中商家每日菜品不断更新， 且每日做菜的方 式不完全相同； 第三、 单纯传统的识别算法所需要的数据集形式标注成本较高， 因此传统的 目标识别方案不能满足 实际使用的需求。 发明内容 [0004]本发明的目的就是为了解决上述问题， 提供一种团餐场景菜品数据合成方法， 获 得目标识别算法所需的训练数据集。 [0005]本发明的技术解决方案是： 一种团餐场景菜品数据合成方法， 其特征在于： 通过对 单个菜品进行 前后景分离、 分割 、 背景合成、 菜品拼接， 合成目标识别所需的数据， 包括： S1： 对数十类以上的单个菜品图像分别进行分割， 并获得分割mask区域； S2： 采集盘子的背景图像， 并对背景图像进行3 ×2区域划分； S3： 通过mixup进行随机菜品和背景盘子的拼接， 生成团餐场景菜品训练数据。 [0006]进一步地， S1中对单个菜品图像作RBG空间至LAB空间的转换； 设所述单个菜品图 像大小为M*N， 并预定义参数K， 将单个菜品图像分割为K个超像素块， 每个超像素块范围大 小内包含有[ （M*N） /K]个 像素， 每个超像素块的长、 宽 定义为S， 且S=sqr t(M*N/K)。 [0007]进一步地， S1中还包括通过差分方式的梯度计算， 调整超像素块中心点的位置， 以 及基于像素块中心点的聚类操作。 [0008]进一步地， S3中所述拼接的过程为： S31、 输入一个待拼菜品的mask图片x， 并将之 融合在S2的背景图像的随机抽取区域y （m） 中， 将两张图片对应的每个像素值直接相加， 得 到混合张量x1， x1=i*x+(1 ‑i)*y （m） ， 其中融合比例i∈[0， 1]之间的随机实数， y指的是背景图片 划分后的区域， m为区域编号； S32、 将S31得到的混合张量x1传递至累加器， 并在累加器中随机输入另一个待拼 菜品的mask图片， 重复执 行S31的图片融合； S33、 按预设拼接量融合所有待拼菜品的， 并输出餐盘数据作为后续训练所用的数 据集。说　明　书 1/3 页 3 CN 115205627 A 3