(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210578278.1 (22)申请日 2022.05.26 (65)同一申请的已公布的文献号 申请公布号 CN 114677185 A (43)申请公布日 2022.06.28 (73)专利权人 深圳市虎瑞科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道琼宇路3号特发信息科技大厦1206 室 (72)发明人 车柯　卢姿萍　 (74)专利代理 机构 深圳知帮办专利代理有限公 司 44682 专利代理师 李赜 (51)Int.Cl. G06Q 30/02(2012.01)G06F 16/9535(2019.01) G06F 16/958(2019.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G09F 9/30(2006.01) (56)对比文件 CN 113918764 A,202 2.01.11 US 202023 6434 A1,2020.07.23 审查员 洪利燕 (54)发明名称 智慧大屏广告智能推荐系统及其推荐方法 (57)摘要 本申请公开了一种智慧大屏广告智能推荐 系统及其推荐方法， 其通过Clip模型的卷积神经 网络和上下文编码器来提取出智慧大屏的注册 用户与其他智能终端的交互数据的高维关联特 征分布以获得第一特征矩阵， 并通过时序编码器 来挖掘出所述注册用户与智慧大屏的交互数据 的隐含关联特征以获得第三特征向量， 这样通过 计算所述第三特征向量和所述第一特征矩 阵的 基于类概率联合相关的融合向量， 可以实现特征 的联合相关到第一特征矩 阵在高维特征空间内 的主维度的联立投影， 提升了这两个特征的基于 类概率表征的特征分布的维度对齐， 从而通过尽 可能地对第三特征向量和第一特征矩 阵进行维 度对齐来 提高融合后的分类向量的分类能力。 权利要求书3页 说明书15页 附图5页 CN 114677185 B 2022.10.18 CN 114677185 B 1.一种智慧大屏广告智能推荐系统， 其特 征在于， 包括： 源数据获取单元， 用于获取智慧大屏的注册用户与所述智慧大屏的第 一交互数据以及 所述注册用户与其 他智能终端的第二交 互数据； 图编码器单元， 用于将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经 网络以获得第一特 征向量； 文本编码单元， 用于将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入 层的上下文编 码器模型以获得多个文本特征向量， 将所述多个文本特征向量进行级联以获 得第二特 征向量； 第一融合单元， 用于使用所述Clip模型来融合所述第一特征向量和所述第二特征向量 以生成第一特 征矩阵； 时序编码器单元， 用于将所述第 一交互数据按照时间维度排列为输入向量后通过包含 一维卷积层和全连接层的时序编码器以生成第三特 征向量； 第二融合单元， 用于计算所述第 三特征向量和所述第 一特征矩阵之间的基于类概率联 合相关的融合向量作为分类特征向量， 其中， 所述基于类概率联合相关的融合向量基于所 述第三特征向量与所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征 矩阵的最大本征值对应的本征向量与其转置之间的乘积所获得 的特征矩阵的二范数之间 的乘积生成； 分类单元， 用于将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向 量属于所述分类 器的多个标签的多个概 率值； 以及 推荐结果 生成单元， 用于基于所述多个概 率值， 生成广告推荐结果。 2.根据权利要求1所述的智慧大屏广告智能推荐系统， 其中， 所述图编码器单元， 进一 步用于使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进 行卷积处理、 沿 通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特 征向量， 其中， 所述第一卷积神经网络的第一层的输入为所述第二交 互数据中的图片数据。 3.根据权利要求2所述的智慧大屏广告智能推荐系统， 其中， 所述文本编码单元， 进一 步用于： 对所述第二交互数据中的文本数据进行分词处理以将所述第二交互数据中的文本数 据转化为由多个词组成的词序列； 使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量 的序列； 使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编 码以获得 所述多个文本特 征向量； 以及 将所述多个文本特 征向量进行级联以获得第二特 征向量。 4.根据权利要求3所述的智慧大屏广告智能推荐系统， 其中， 所述第一融合单元， 进一 步用于计算所述第一特征向量的转置与所述第二特征向量之间的向量乘积以生成所述第 一特征矩阵。 5.根据权利要求4所述的智慧大屏广告智能推荐系统， 其中， 所述时序编码器单元， 进 一步用于： 将所述第一交 互数据按照时间维度排列为 一维的输入向量；权　利　要　求　书 1/3 页 2 CN 114677185 B 2使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取 出所述输入向量中各个位置的特征值的高维隐含特征， 其中， 所述公式为： ， 其中 是输入向量， 是输出向量， 是权重矩阵， 是偏置向量， 表示矩阵乘； 使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以 提取出所述输入向量中各个位置的特 征值间的高维隐含关联 特征， 其中， 所述公式为： 其中，a为卷积核在 x方向上的宽度、 F为卷积核参数向量、 G为与卷积核函数运算的局部 向量矩阵， w为卷积核的尺寸。 6.根据权利要求5所述的智慧大屏广告智能推荐系统， 其中， 所述推荐结果生成单元， 进一步用于将与所述多个概 率值中最大者对应的标签相关的广告推送至所述智慧大屏。 7.一种智慧大屏广告智能推荐系统的推荐方法， 其特 征在于， 包括： 获取智慧大屏的注册用户与所述智慧大屏的第一交互数据以及所述注册用户与其他 智能终端的第二交 互数据； 将所述第二交互数据中的图片数据通过Clip模型的第一卷积神经网络以获得第一特 征向量； 将所述第二交互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器 模型以获得多个文本特 征向量， 将所述多个文本特 征向量进行级联以获得第二特 征向量； 使用所述Clip模型来融合所述第一特征向量和所述第二特征向量以生成第一特征矩 阵； 将所述第一交互数据按照 时间维度排列为输入向量后通过包含一维卷积层和全连接 层的时序编码器以生成第三特 征向量； 计算所述第三特征向量和所述第一特征矩阵之间的基于类概率联合相关的融合向量 作为分类特征向量， 其中， 所述基于类概率联合相关的融合向量基于所述第三特征向量与 所述第一特征矩阵的矩阵乘积除以所述第三特征向量与所述第一特征矩阵的最大本征值 对应的本征向量与其 转置之间的乘积所获得的特 征矩阵的二范 数之间的乘积生成； 将所述分类特征向量通过具有多标签的分类器以获得所述分类特征向量属于所述分 类器的多个标签的多个概 率值； 以及 基于所述多个概 率值， 生成广告推荐结果。 8.根据权利要求7所述的智慧大屏广告智能推荐系统 的推荐方法， 其中， 将所述第 二交 互数据中的图片数据通过Cl ip模型的第一卷积神经网络以获得第一特 征向量， 包括： 使用所述第 一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、 沿通 道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述第一特征 向量， 其中， 所述第一卷积神经网络的第一层的输入为所述第二交 互数据中的图片数据。 9.根据权利要求8所述的智慧大屏广告智能推荐系统 的推荐方法， 其中， 将所述第 二交 互数据中的文本数据通过所述Clip模型的包含嵌入层的上下文编码器模型以获得多个文 本特征向量， 将所述多个文本特 征向量进行级联以获得第二特 征向量， 包括：权　利　要　求　书 2/3 页 3 CN 114677185 B 3