(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210647790.7 (22)申请日 2022.06.08 (71)申请人 福建华昊信息技 术咨询有限公司 地址 362700 福建省泉州市石 狮市海峡两 岸科技孵化基地研发楼6楼 (72)发明人 林劝雄　黄泽滨　庄伟鹏　郑金来　 柳小露　高维维　林雅玲　陈志勇　 林曜晖　王志菲　 (74)专利代理 机构 泉州华昊知识产权代理事务 所(普通合伙) 35240 专利代理师 林晓玲 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/258(2020.01) G06F 40/126(2020.01)G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 科技信息管理系统及其管理方法 (57)摘要 本申请公开了一种科技信息管理系统及其 管理方法， 其通过使用深度神经网络模型对待 标 注的科技信息进行词级的语义关联特征和段落 级的语义关联特征的特征提取， 进而对所述待 标 注的科技信息的主题进行标注， 并且在融合这两 者的特征关联信息时， 进一步计算这两者特征向 量之间的特征密集权重因数来对各自的所述特 征向量进行加权， 以提升不同特征密度的特征向 量之间的自适应依赖性， 从而 提升分类特征向量 对于分类目标函数的数据密度自适应性， 也就 是， 提高了分类准确性。 这样， 就能够对 科技信息 进行准确地 分类， 进而提高对于所述科技信息的 整合和分析利用。 权利要求书3页 说明书14页 附图4页 CN 115186673 A 2022.10.14 CN 115186673 A 1.一种科技信息管理系统， 其特 征在于， 包括： 待标注科技信息获取 单元， 用于获取待标注的科技信息； 词粒度编码单元， 用于将所述待标注的科技信 息进行分词处理后 通过包含词嵌入层的 上下文编码器以得到多个词高维特 征向量； 词粒度关联编码单元， 用于将所述多个词高维特征向量排列为一维的特征向量后通过 一维卷积神经网络以得到第一语义特 征向量； 分段单元， 用于将所述待标注的科技信息按照段落进行划分以获得多个段落； 段落编码单元， 用于将所述多个段落中的各个段落分别通过所述包含词嵌入层的上下 文编码器以得到对应于各个段落的段落高维特 征向量； 段落关联编码单元， 用于将所述对应于各个段落的段落高维特征向量按照段落样本维 度排列为二维的特征矩阵后通过使用二维卷积核的第二卷积神经网络以得到第二语义特 征向量； 互密集权重因数计算单元， 用于计算所述第 一语义特征向量相对于所述第 二语义特征 向量的第一特征密集权重因数以及所述第二语义特征向量相对于所述第一语义特征向量 的第二特 征密集权 重因数； 特征分布调 整单元， 用于以所述第 一特征密集权重因数和所述第 二特征密集权重因数 分别对所述第一语义特征向量和所述第二语义特征向量进行加权以得到加权后第一语义 特征向量和 加权后第二语义特 征向量； 特征融合单元， 用于融合所述加权后第 一语义特征向量和所述加权后第 二语义特征向 量以得到分类特 征向量； 以及 主题标注单元， 用于将所述分类特征向量通过所述多标签分类器以得到所述待标注的 科技信息所属的主题标签。 2.根据权利要求1所述的科技信息管理系统， 其中， 所述词粒度编码单 元， 包括： 分词子单 元， 用于对所述待标注的科技信息进行分词以获得词序列； 词嵌入子单元， 用于使用所述包含嵌入层的上下文编码器的嵌入层将所述词序列中各 个词映射 为词向量以获得词向量序列； 上下文语义编码子单元， 用于使用所述包含嵌入层的上下文编码器的基于转换器的 Bert模型对所述词向量序列进行基于全局掩码结构的全局语义编码以得到多个词高维特 征向量。 3.根据权利要求2所述的科技信息管理系统， 其中， 所述词粒度关联编码单元， 进一步 用于： 使用所述一维卷积神经网络的一 维卷积层以如下公式对所述一维的特征向量进 行一 维卷积编码以提取所述一维的特征向量中各个位置的特征值间的关联 的高维隐含关联特 征， 其中， 所述公式为： 其中， a为卷积核在x方向上的宽度、 F为卷积核参数向量、 G为与卷积核函数运算的局部 向量矩阵， w 为卷积核的尺寸。 4.根据权利要求3所述的科技信息管理系统， 其中， 所述段落关联编码单元， 进一步用权　利　要　求　书 1/3 页 2 CN 115186673 A 2于以所述使用二维卷积核的第二卷积神经网络的各层在层的正向传递中对输入数据分别 进行卷积处理、 基于局部特征矩阵的均值池化处理和非线性激活处理以由所述第二卷积神 经网络的最后一层输出 所述第二语义特 征向量。 5.根据权利要求4所述的科技信息管理系统， 其中， 所述互密集权重因数计算单元， 进 一步用于以如下公式来计算所述第一语义特征向量相对于所述第二语义特征向量的第一 特征密集权 重因数； 其中， 所述公式为： 其中V1表示所述第一语义特征向量， V2表示所述第二语义特征向量， ⊙表示点乘， softmaxj(·)表示特征向量通过多标签分类器后得到的每个标签下的概率值， 且∑ jsoftmaxj(·)表示对于每个标签下的概率值的进行求和， d( ·,·)表示特征向量之间的距 离， exp(·)表示向量的指数运算， 所述向量的指数运算表 示计算以向量中各个位置的特征 值为幂的自然指数函数值， 特征向量除以参数表 示以特征向量中各个位置的特征值分别除 以参数。 6.根据权利要求5所述的科技信息管理系统， 其中， 所述互密集权重因数计算单元， 进 一步用于以如下公式来计算所述第二语义特征向量相对于所述第一语义特征向量的第二 特征密集权 重因数； 其中， 所述公式为： 其中V1表示所述第一语义特征向量， V2表示所述第二语义特征向量， ⊙表示点乘， softmaxj(·)表示特征向量通过多标签分类器后得到的每个标签下的概率值， 且∑ jsoftmaxj(·)表示对于每个标签下的概率值的进行求和， d( ·,·)表示特征向量之间的距 离， exp(·)表示向量的指数运算， 所述向量的指数运算表 示计算以向量中各个位置的特征 值为幂的自然指数函数值， 特征向量除以参数表 示以特征向量中各个位置的特征值分别除 以参数。 7.根据权利要求6所述的科技信息管理系统， 其中， 所述特征融合单元， 进一步用于计 算所述加权后第一语义特征向量和所述加权后第二语义特征向量的按位置加权和以得到 所述分类特 征向量。 8.根据权利要求7所述的科技信息管理系统， 其中， 所述主题标注单元， 进一步用于： 使 用所述多标签分类器以如下公式对所述分类特征向量进行处理以获得所述待标注的科技 信息所属的主题 标签， 其中， 所述公式为： softm axj{(Wn,Bn):…:(W1,B1)|X}， 其中， W1到Wn为 权重矩阵， B1到Bn为偏置向量， X为所述分类特 征向量。 9.一种科技信息管理系统的管理方法， 其特 征在于， 包括： 获取待标注的科技信息； 将所述待标注的科技信息进行分词处理后通过包含词嵌入层的上下文编码器以得到 多个词高维特 征向量；权　利　要　求　书 2/3 页 3 CN 115186673 A 3