(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111659647.1 (22)申请日 2021.12.3 0 (71)申请人 北京爱奇艺科技有限公司 地址 100089 北京市海淀区海淀北一 街2号 11层1101 (72)发明人 毕泊　 (74)专利代理 机构 北京细软智谷知识产权代理 有限责任公司 1 1471 代理人 葛钟 (51)Int.Cl. G06V 40/10(2022.01) G06K 9/62(2022.01) G06V 10/46(2022.01) G06V 10/44(2022.01) G06V 10/762(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 模型训练方法、 服饰识别处理方法及相关装 置、 终端 (57)摘要 本申请涉及模 型训练方法、 服饰识别处理方 法及相关装置、 终端， 属于服饰识别技术领域。 本 申请基于拍摄角度不同和/或露出比例不同的样 本图像， 得到服饰区域图像， 利用各服饰区域图 像的特征对服饰区域图像进行聚类， 通过服饰区 域图像对应的人物姿态信息， 从各聚类簇中选取 出代表图像， 利用代表图像的特征相似度和样本 图像的服饰标注信息， 训练聚类簇合并， 让合并 得到的各服饰图像集的集内图像对应同一服饰、 以及不同服饰图像集对应的服饰不同， 以此完成 模型训练， 由此， 可实现将拍摄角度不同和/或露 出比例不同的服饰区域图像对应到同一服饰下， 实现窥一斑而知全豹， 使同一款服饰有一个稳定 的识别结果， 提升服饰识别的召回率。 权利要求书4页 说明书15页 附图9页 CN 114332940 A 2022.04.12 CN 114332940 A 1.一种模型的训练方法， 其特 征在于， 所述方法包括： 接收样本图像集， 所述样本图像集包括拍摄角度不同和/或露出比例不同的样本图像； 获取所述样本图像集中样本图像的服饰区域图像； 提取所述服饰区域图像的特 征， 对所述 服饰区域图像进行聚类处 理， 得到聚类结果； 获取所述服饰区域图像对应的人物姿态信 息， 利用所述人物姿态信 息得到所述 聚类结 果下各聚类簇的代 表图像； 基于所述代 表图像的特 征， 得到不同所述聚类簇之间的相似度； 将相似度小于或者等于阈值相似度的所述 聚类簇进行合并， 利用样本图像的服饰标注 信息， 确定合并得到的各服饰图像集的集内图像是否对应同一服饰、 以及不同所述服饰图 像集对应的服饰是否不同， 若 是， 则完成模型的训练， 若否， 则调整 所述阈值相似度， 并重新 执行将相似度小于或者 等于所述阈值相似度的所述聚类簇进行合并的步骤及其后续 步骤。 2.根据权利要求1所述的方法， 其特征在于， 所述获取所述服饰区域图像对应的人物姿 态信息， 利用所述人物姿态信息得到所述聚类结果下 各聚类簇的代 表图像， 包括： 获取所述服饰区域图像对应的人物区域图像； 提取所述人物区域图像的人体关键点信息， 所述人体关键点信息包括： 人体关键点的 位置信息和/或置信度信息， 其中， 所述位置信息用于得到人体正侧面情况， 所述置信度信 息用于得到人体半全身情况； 利用所述人体关键点信 息， 对人体正侧面情况和/或半全身情况进行评分， 得到评分结 果； 基于所述评分结果中的最 值， 得到所述聚类结果下 各聚类簇的所述代 表图像。 3.根据权利要求2所述的方法， 其特征在于， 其中， 所述评分结果中的最值包括： 人体最 正面评分、 人体最侧面评分、 人体最全身评分和人体最半身评分中的一种或者多种。 4.根据权利要求2所述的方法， 其特征在于， 所述获取所述服饰区域图像对应的人物区 域图像， 包括： 获取所述样本图像中的人物区域图像； 针对所述样本图像下的所述服饰区域图像和所述人物区域图像， 计算所述服饰区域图 像与所述人物区域图像之 间的重合度， 并将重合度大于或者等于阈值重合度的所述服饰区 域图像和所述人物区域图像进行关联； 获取与所述 服饰区域图像形成关联的所述人物区域图像。 5.根据权利要求1所述的方法， 其特征在于， 所述对所述服饰区域图像进行聚类处理， 得到聚类结果， 包括： 以所述服饰区域图像作为顶点， 通过所述服饰区域图像的特征得到不同顶点之间的相 似度， 根据不同顶点之间的相似度确定各顶点的邻居顶点； 通过各顶点及各顶点的邻居顶点建立关联图； 对所述关联图进行第一图卷积处理， 得到所述关联图中所有顶点的置信度， 其中， 所述 关联图中， 形成邻居关系的两顶点， 两者置信度越大， 属于同一类的概 率越大； 将所述关联图中置信度 大于第一阈值置信度的顶点作为第 一顶点， 为各所述第 一顶点 分别构建子图， 所述子图中包括作为中心顶点的所述第一顶点， 以及与所述中心顶点成邻 居关系的其 他所述第一顶点；权　利　要　求　书 1/4 页 2 CN 114332940 A 2对所述子图进行第二图卷积处 理， 得到所述子图中所有顶点的新的置信度； 基于所述子图中所有顶点的新的置信度， 将所述子图中置信度 大于第二阈值置信度的 所述第一顶点作为第二顶点； 基于所述第二顶点间是否成邻居关系， 对所述第二顶点进行聚类， 得到第一聚类结果。 6.根据权利要求5所述的方法， 其特征在于， 所述对所述服饰区域图像进行聚类处理， 得到聚类结果， 还 包括： 以所述第一聚类结果下的各聚类簇为基础， 进行至少一次迭代合并过程， 直至迭代合 并停止； 其中， 任意 一次迭代合并过程， 包括： 获取第一聚类簇的聚类中心图像， 其中， 所述第一聚类簇为任意一次迭代合并前的聚 类簇； 基于聚类中心图像的特征， 计算任意两个聚类中心图像之间的距离， 若所述距离小于 或者等于预设阈值距离， 则将所述任意两个聚类中心图像所对应的所述第一聚类簇合并。 7.根据权利要求1所述的方法， 其特征在于， 所述样本图像集是通过提取视频的视频帧 得到。 8.一种服饰识别处理方法， 其特征在于， 所述方法应用于服饰信 息查询请求接收端， 所 述服饰信息查询请求接收端部署有通过权利要求1 ‑7任一项所述训练方法训练得到的模 型， 所述方法包括： 当接收到服饰信 息查询请求发送端发送的服饰信 息查询请求 时， 将所述服饰信 息查询 请求携带 的服饰图像输入到所述模型， 以通过所述模型确定对应的服饰图像集， 获取确定 出的服饰图像集对应的参 考图像， 得到所述 参考图像对应的服饰信息； 将所述参考图像对应的服饰信息作为服饰识别信息发送回所述服饰信息查询请求发 送端， 以在所述 服饰信息查询请求发送端上显示所述 服饰识别 信息。 9.一种服饰识别处理方法， 其特征在于， 所述方法应用于服饰信 息查询请求发送端， 所 述方法包括： 响应于交 互指令， 获取根据所述交 互指令所 得到的服饰图像； 基于所述 服饰图像生成服饰信息查询请求； 将所述服饰信息查询请求发送至服饰信息查询请求接收端， 其中， 所述服饰信息查询 请求接收端部署有通过权利要求1 ‑7任一项所述训练方法训练得到的模型， 以及所述服饰 信息查询请求接收端用于实现权利要求8所述的服饰识别处 理方法； 接收并显示所述 服饰信息查询请求接收端返回的服饰识别 信息。 10.根据权利要求9所述的方法， 其特征在于， 所述响应于交互指令， 获取根据 所述交互 指令所得到的服饰图像， 包括： 响应于交互指令， 对当前播放视频的帧画面进行截图， 根据所述截图得到所述服饰图 像。 11.一种模型的训练装置， 其特 征在于， 所述装置包括： 图像集接收模块， 用于接收样本图像集， 所述样本图像集包括拍摄角度不同和/或露出 比例不同的样本图像； 服饰区域图像获取模块， 用于获取 所述样本图像集中样本图像的服饰区域图像； 聚类模块， 用于提取所述服饰区域图像的特征， 对所述服饰区域图像进行聚类处理， 得权　利　要　求　书 2/4 页 3 CN 114332940 A 3