(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111644391.7 (22)申请日 2021.12.3 0 (65)同一申请的已公布的文献号 申请公布号 CN 114005077 A (43)申请公布日 2022.02.01 (73)专利权人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 孙凌云　鲁雨佳　陈实　王禹溪　 杨昌源　 (74)专利代理 机构 杭州天勤知识产权代理有限 公司 33224 专利代理师 胡红娟 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/62(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01)G06K 9/62(2022.01) G06Q 10/06(2012.01) G06Q 30/06(2012.01) (56)对比文件 WO 2017204679 A1,2017.1 1.30 CN 103986925 A,2014.08.13 CN 112529048 A,2021.0 3.19 US 11176471 B1,2021.1 1.16 CN 112967365 A,2021.0 6.15 鲁雨佳等.基 于剪辑元素属性约束的可计算 产品展示视频自动剪辑框架. 《计算机 辅助设计 与图形学学报》 .2020,第32卷(第7期), Scott M. Lundberg etal. .A Unified Approach to Interpreti ng Model Predicti ons. 《proce edings of the 31st internati onal conference o n neural informati on proces sing system s》 .2017, 审查员 郑岩 (54)发明名称 观众评价数据驱动 的无声产品视频创作辅 助方法及装置 (57)摘要 本发明公开了一种观众评价数据驱动 的无 声产品视频创作辅助方法， 包括将 视频初始样本 集进行标签一致性筛选得到产品视频样本集， 基 于产品类别分为外观型和功能型产品视频样本 集， 并构建优质案例库， 通过XGBoost方法构建评 价预测模型， 通过SHAP算法构建评价预测模型解 释器， 从优质案例库中筛选出匹配用户提供的素 材、 视频属性和产品类型的优质案例， 通过预测 模型解释器得到优质案例的优质特点 以辅助用 户完成视频创作， 通过评价预测模 型预测视频 成 片的评价结果， 通过模型解释器获得视频成片 SHAP值为负的特征以及特征优化的目标值域， 辅 助用户调整该特征的特征值完成视频成片的优 化。 该方法能够提供优质参考案例， 并对用户制作的视频成片进行评估与优化 提示。 权利要求书4页 说明书9页 附图2页 CN 114005077 B 2022.05.27 CN 114005077 B 1.一种观众评价数据驱动的无声产品视频创作辅助方法， 其特 征在于， 包括： S1： 对获得的产品视频初始样本集在静音播放下通过观众评价方式进行评价标签标 记， 评价标签为信息有用性标签和视觉舒适度标签， 对产品视频初始样本集进行标签一致 性筛选， 基于筛选结果得到评价标签标注皆为好的产品视频初始样本作为第一产品视频样 本， 以及评价标签标注皆为不好的产品视频初始样本作为第二产品视频样本， 根据第一产 品视频样本和第二产品视频样本构建产品视频样本集， 基于产品类型， 将产品视频样本集 分为外观型产品视频样本集和功能型产品视频样本集， 将产品视频样本集中的第一产品视 频样本作为优质案例， 以构建优质案例库； S2： 将外观型产品视频样本集中每个样本的创作 特征的特征值和信 息有用性标签作为 第一训练样本， 将功能型产品视频样本集中每个样本的创作特征的特征值和信息有用性标 签作为第二训练样本， 将外观型产品视频样本集中每个样本的创作特征的特征值和视觉舒 适度标签作为第三训练样本， 将功能型产品视频样本集中每个样本的创作特征的特征值和 视觉舒适度标签作为第四训练样本， 将第一训练样本输入至XGBoost模型利用五折交叉验 证的网格搜索方法确定XGBoost模型参数得到外观视频信息有用性评价预测模型， 将第二 训练样本输入至XGBoost模型利用五折交叉验证的网格搜索方法确 定XGBoost模型参数得 到功能视频信息有用性评价预测模型， 将第三训练样本输入至XGBoost模型利用五折交叉 验证的网格搜索方法确 定XGBoost模型参数得到外观视频视觉舒适度评价预测模型， 将第 四训练样本输入至XGBoost模型利用五折交叉验证的网格搜索方法确定XGBoost模型参数 得到功能视频视 觉舒适度评价预测模型； S3： 利用SHAP算法获得每个评价预测模型的解释器， 评价预测模型解释器的类型与评 价预测模型的类型相对应， 评价预测模 型解释器用于利用S HAP算法对输入对应评价预测模 型的创作特 征的特征值赋予SHAP值 来解释每个创作特 征对模型预测结果的贡献； S4： 用户创作视频初期， 接收用户提供的视频素材， 以及用户选择的产品类型和视频属 性特征， 从优质案例库中筛选出产品类型相同且与视频属 性特征相匹配的案例样本， 将案 例样本的素材特征的特征值和视频素材的素材特征的特征值进行特征值相似度比较， 筛选 出满足特 征值相似度阈值的案例样本作为优质参 考案例推荐给用户进行参 考； 将优质参考案例的创作特征的特征值输入至对应产品类型的评价预测模型得到优质 参考案例的视觉舒适度分数和信息有用性分数， 通过对应评价模型解释 器得到优质参考案 例的每个创作特征的SHAP值， 提取优质参考案例中SHAP值为正的创作特征， 以及SHAP值为 正的创作特征在对应产品类型 的产品视频样本集中的为正的SHAP值对应的第一特征值域 作为优质参 考案例的优质特点， 以辅助用户进行初期视频创作； S5： 用户创作视频迭代期， 获得用户提供的视频成片和用户选择的产品类型， 计算视频 成片的创作特征 的特征值， 按照用户选择 的产品类型， 将视频成片创作特征 的特征值输入 至对应产品类型 的评价预测模型， 得到视觉舒适度分数和信息有用性分数， 利用对应产品 类型的评价预测模 型解释器从视频成片创 作特征中分别得到S HAP值为负的创作特征， 以及   SHAP值为负的创 作特征在 对应产品类型的产品视频样 本集中的SHAP值， 筛选出在 对应产品 类型的产品视频样 本集中的为正的S HAP值对应的第二特征值域， 使得用户能够根据第二特 征值域调整S HAP值为负的创作特征的特征值， 以达到提高视觉舒适度分数和信息有用性分 数的目的。权　利　要　求　书 1/4 页 2 CN 114005077 B 22.根据权利要求1所述的观众评价数据驱动的无声产品视频创作辅助方法， 其特征在 于， 将产品视频样本集分为外观型产品视频样 本集和功能型产品视频样本集， 其中， 外观型 产品视频样本集包括服装、 配饰产品视频； 功能型产品视频样本集包括电器、 数码、 数码配 件、 个人护理、 家居、 食物和玩具产品视频。 3.根据权利要求1所述的观众评价数据驱动的无声产品视频创作辅助方法， 其特征在 于， 对获得的产品视频初始样本集在静音播放下通过观众评价方式进行评价标签标记， 包 括： 在静音播放下用户采用七点量表基于信息有用性和视觉舒适度两个维度对产品视频 初始样本进行打分， 并对分值进 行二值化， 其中， 1 −5分为产品视频初始样 本标记为不好， 6 − 7分为产品视频初始样本标记为 好， 以完成对产品视频初始样本集的标签标记。 4.根据权利要求1所述的观众评价数据驱动的无声产品视频创作辅助方法， 其特征在 于， 外观型产品视频样本、 功能型产品视频样本、 案例样本、 优质参考案例、 视频成片、 视频 素材均为无声产品视频； 外观型产品视频样本创作特征、 功能型产品视频样本创作特征、 优质参考案例创作特 征、 视频成片创作特 征均包括视频属性特 征、 静态特 征和动态特 征； 视频属性特 征包括时长、 尺寸和帧率； 静态特征包括场景语义、 场景丰富度、 人体语义、 画面纹理特征、 画面色彩特征、 文字尺 寸和字幕量； 画面纹理特征包括主体清晰度、 主体位置、 景深、 视 觉焦点数； 画面色彩特 征包括色调、 暗色区域与亮色区域比例、 色彩丰富度； 动态特征包括剪辑频率、 剪辑起伏度、 剪辑硬度、 画面运动强度、 画面运动复杂度、 画面 色彩变化度； 案例样本的素材特征和视频素材的素材特征均包括静态特征中的场景语义、 人体语 义、 画面纹 理特征、 画面色彩特 征。 5.根据权利要求4所述的观众评价数据驱动的无声产品视频创作辅助方法， 其特征在 于， 提取静态特 征的特征值， 包括： 通过等帧距采样无声产品视频得到帧画面集， 通过随机森林算法构建的场景识别模型 对每个帧画 面进行场景识别， 将帧画面集中出现最多的场景标签作为创作特征中的场景语 义特征值， 将帧画面集中出现的所有场景标签作为素材特征中的场景语义特征值， 将帧画 面集中出现场景的数量作为场景丰富度特 征值； 通过YOLO物体识别方法识别出包含人体的帧画面， 将包含人体的帧画面在帧画面集的 占比作为创作特征中的人体语义特征值， 将是否包含人体的布尔值作为素材特征中的人体