(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111626484.7 (22)申请日 2021.12.28 (71)申请人 浙江阿蚂科技有限公司 地址 324003 浙江省衢州市白云街道芹江 东路288号1幢9层909室 (72)发明人 陈建海　鲍科　阮汉宁　何钦铭　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 郑海峰 (51)Int.Cl. G06F 21/10(2013.01) G06V 10/32(2022.01) G06V 10/74(2022.01) G06V 10/771(2022.01) G06V 10/77(2022.01)G06K 9/62(2022.01) (54)发明名称 基于特征选择性聚合的大规模图片侵权检 测方法及系统 (57)摘要 本发明提出了一种基于特征选择性聚合的 大规模图片侵权检测方法及系统， 属于图片侵权 检测领域。 该方法利用在大规模图片数据集上预 训练的深度残差卷积神经网络提取图片的高层 语义特征图， 利用选择性特征聚合算法SCDA对特 征图进行有选择地聚合， 并使用主成分分析方法 PCA将聚合得到的特征压缩为一个低维稠密特征 向量表示， 利用乘积量化的方式为特征向量构建 索引， 以实现大规模图片侵权检测。 这种方法效 率很高， 可以实现在百万级别向量中毫秒级查 找。 权利要求书4页 说明书7页 附图2页 CN 114547554 A 2022.05.27 CN 114547554 A 1.一种基于特 征选择性聚合的大规模图片侵 权检测方法， 其特 征在于， 包括以下步骤： 1)图片预处 理： 将数据库图片缩放至预设尺寸， 并进行图片标准 化处理； 2)提取预处理后的图片的高层语义特 征， 得到高层语义特 征图； 3)对高层语义特征图按通道进行求和， 得到求和结果大于阈值的最大连通区域； 将最 大连通区域中的特 征向量进行加总聚合， 得到聚合特 征向量； 4)对聚合特征向量进行PCA主成分分析和降维处理， 并对降维后的聚合特征向量进行 标准化处理， 得到降维后的标准 化聚合特 征向量； 5)针对所有的数据库图片对应的降维后的标准化聚合特征向量， 采用乘积量化的方式 建立索引； 6)针对每张待查询图片， 根据步骤1)至步骤4)的方法获得待查询图片的降维后的标准 化聚合特征向量， 并通过索引查找数据库中与其最相近的图片， 如果相似度超过某一阈值， 则判定其 为侵权图片。 2.根据权利要求1所述的基于特征选择性聚合的大规模图片侵权检测方法， 其特征在 于， 所述的图片标准 化处理方式为： 对每张图片的每 个通道都执 行： image*＝(image‑mean)/std 式中， image*为预处理后的通道像素值， image为预处理前的通道像素值， mean和std分 别为通道的均值和方差 。 3.根据权利要求1所述的基于特征选择性聚合的大规模图片侵权检测方法， 其特征在 于， 所述的步骤2)采用4层的深度残差卷积神经网络ResNet来提取图片的高层语义特征， 将 ResNet最后一层的输出作为 最终结果。 4.根据权利要求1所述的基于特征选择性聚合的大规模图片侵权检测方法， 其特征在 于， 所述的步骤3)具体为： 3.1)将高层语义特征 图表示为一个(a， b， m)的张量， 其中a和b表示特征 图的长度和宽 度， m表示 通道数， 即特 征图的维度； 3.2)以(i， j， k)表示特征图中的第i行第j列第k个通道的数值， 对该特征图按通道进行 相加， 得到聚合特征矩阵A＝{Ai， j}， 1≤i≤a， 1≤j ≤b， Ai， j表示矩阵A中第i行第j列的元素； 且： 3.3)根据聚合特 征矩阵A建立 二维掩膜 矩阵M， 且： 式中， Mi， j是掩膜矩阵中第i行第j列的元 素， 为预设的掩膜阈值； 3.4)获取二维掩膜矩阵M中数值为1的最大连通区域， 将高层语义特征图中每一个通道 上的所述 最大连通区域部分加总聚合 起来， 得到m维的聚合特 征向量， 即聚合特 征向量。 5.根据权利要求1所述的基于特征选择性聚合的大规模图片侵权检测方法， 其特征在 于， 所述的步骤4)具体为： 4.1)对所有的数据库图片对应的聚合特 征向量进行中心化， 即：权　利　要　求　书 1/4 页 2 CN 114547554 A 2式中， xi*表示中心化后的第i张数据库图片的聚合特征向量， n表示数据库图片的总数， xi和xj分别是中心化前的第i张数据库图片和第j张数据库图片的聚合特 征向量； 4.2)计算(x1*， x2*， ...， xi*， ...， xn*)的协方差矩阵， 并对其进行特征值分解， 取出最大 的k个特征值对应的特征向量(w1， w2， ...， wk)， 并对其进行标准化后得到特征向量矩阵W， 对 每一个原始向量xi转换为yi＝WTxi， 得到维度为k的一组降维后的聚合特征向量Y＝(y1， y2， ...， yn)， 4.3)对降维后的每一个聚合特 征向量yi进行标准化处理： 式中， 表示标准化之前 的第i个图片降维后的聚合特征向量中的第p个元素， 表示 标准化之后的第i个图片降维后的聚合特征向量中的第p个元素； 每一张图片对应的降维后 的标准化聚合特 征向量表示 为 6.根据权利要求1所述的基于特征选择性聚合的大规模图片侵权检测方法， 其特征在 于， 所述的步骤5)具体为： 针对所有的数据库图片对应的降维后的标准化聚合特征向量， 采用乘积量化的方式建 立索引； 5.1)针对所有的数据库图片对应的降维后的标准化聚合特征向量(y1*， y2*， ...， yn*)， 利用K‑Means聚类 算法聚成K类， 得到K个第一聚类中心； 其中， yi*表示第i张图片对应的降维 后的标准 化聚合特 征向量， n表示数据库图片的总数； 5.2)针对每一个数据库图片对应的降维后的标准化聚合特征向量yi*， 其对应的第一聚 类中心向量 为ci， 将其相减得到残差向量(yi*‑ci)； 5.3)对每一张图片的残差向量划分为l个子空间， 每一个子空间的维度为 维； 对每一 段子空间进行K ‑Means聚类， 得到K ′个第二聚类中心， 标记每一个第二聚类中心的ID＝{1， 2， ...， K′}； 5.4)将每一张图片的残差向量对应的l个子空间都采用距离其最近的第二聚类 中心来 近似， 编码后的特征向量索引记为y ′＝(id1， id2， ...， idl)， idl表示第l个子空间所属的第 二聚类中心ID编码。 7.根据权利要求6所述的基于特征选择性聚合的大规模图片侵权检测方法， 其特征在 于， 所述的步骤6)具体为： 6.1)针对每张待查询图片， 根据步骤1)至步骤4)的方法获得待查询图片的 降维后的标 准化聚合特征向量， 之后在步骤5.1)得到的K个第一聚类中心中找到与其最近的聚类中心 向量， 按照步骤5.2)的方法相减得到残差向量； 再按照步骤5.3)的方法将残差向量划分为l 个子空间， 计算每一个子空间与步骤5.3)所述的K ′个第二聚类中心的距离， 得到一个l ×K′ 的查找表；权　利　要　求　书 2/4 页 3 CN 114547554 A 3