(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111681644.8 (22)申请日 2021.12.3 0 (71)申请人 江南大学 地址 214122 江苏省无锡市滨湖区蠡湖大 道1800号 (72)发明人 陆恒杨　方伟　聂玮　孙俊　 吴小俊　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 代理人 张勇 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/30(2020.01) G06F 40/284(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种长尾分布场景下的方面类别识别方法 及系统 (57)摘要 本发明公开了一种长尾分布场景下的方面 类别识别方法及系统， 属于自然语 言处理技术领 域。 本发明的方法基于一种在长尾 分布场景下的 的方面类别识别系统， 该系统聚焦数据长尾分布 特点， 首先得到句子细粒度方面特征向量， 提供 额外的上下文方面级语义信息； 然后加入一种基 于长尾分布的融合上下文方面级语义信息的注 意力机制， 加强模型捕捉与方面类别最相关的信 息的能力， 同时提出一种改进的分布平 衡损失函 数缓解长尾多标签文本分类任务中的标签共现 以及负类优势的问题， 有效地提升了具有长尾分 布特点的方面类别识别效果。 权利要求书5页 说明书13页 附图2页 CN 114297390 A 2022.04.08 CN 114297390 A 1.一种长尾分布场景下的方面类别识别方法， 其特征在于， 所述方法对数据集 中的N个句子进行方面类别的识别， 其中， Sl＝{w1,w2,…,wn}为所述数 据集D中的第l个句子， 由n个词组成， wn表示所述第l个句子Sl中第n个词； 是所述第l个句 子Sl对应的方面类别标签； 所述方法包括： 步骤1： 预先定义m个方面类别， 用A＝{a1,a2,…,am}表示， 其中am为描述第m个方面的单 词或词组， 步骤2： 构建词嵌入矩阵E1∈R|V|×d， 每个词wi通过所述词嵌入矩阵E1中映射为 其中|V|为所述数据集D中所有词的大小， d是词向量的维度； 同时构建方面类别嵌入矩阵E2∈Rm×d， 每个词ai通过所述方面类别嵌入矩阵E2中映射为 分 别 得 到 文 本 嵌 入 向 量 和 方 面 嵌 入 向 量 步骤3： 将所述文本嵌入向量 与所述方面嵌入向量 输入 到长短时记忆网络LSTM中， 得到该句子的网络输出隐藏状态 和 步骤4： 将所述隐藏状态Hw和Ha输入到IAN ‑LoT机制中， 得到融合长尾分布 特点的总的方 面向量表示s； 步骤5： 将所述总的方面向量s输入到融合上下文方面级语义信息的注意力机制， 计算 融合向量 步骤6： 使用所述融合向量向量 作为预测的句子表示， 如公式(1)所示， 对于第j个方面 类别： 其中， Wj∈Rd×1， bj为一个标量， 为第j个方面类别的预测结果， 当大于分类阈值时， 认 为句子包 含第j个方面类别。 2.根据权利要求1所述的方法， 其特征在于， 所述IAN ‑LoT机制中计算融合长尾分布特 点的总的方面向量的步骤 包括： 步骤41： 对于 输入的隐藏状态Hw和Ha计算交互注意力权 重矩阵I∈Rn×m， 如公式(2)所示： 步骤42： 对所述交 互注意力权 重矩阵的每一行进行softmax计算， 如公式(3)所示： 其中， kij为矩阵k∈Rn×m的第i行第j列元素， k表示文本对方面的注意力权重， Iij为矩阵 I中第i行第j列的元 素；权　利　要　求　书 1/5 页 2 CN 114297390 A 2步骤43： 然后对于矩阵k引入数据长尾分布特点， 如公式(4)所示： 其中， 为引入长尾分布的文本对于每个方面的权重信息， β ∈R1×m代表预先学 习到的长尾分布特点， 为训练集中有效样本的数量倒数， m为方面类别的个数； 步骤44： 对于 进行最大池化， 得到融入长尾分布特点的细粒度的文本对于方面的权重 信息IL， 进而将此权重信息与方面类别的嵌入 向量表示 相乘， 得到最终的总的方面向量 表示s， 如公式(5)所示： 其中， s∈R1×d。 3.根据权利要求2所述的方法， 其特征在于， 所述融合上下文方面级语义信 息的融合向 量 的计算过程包括： 将所述总的方面向量s与 作为输入， 计算融合向量 如公式(6)所 示： 其中， W∈Rn×1是每个单词与方面融合的可学习权重参数， 代表融合上下文方 面级语义信息的向量， 将 输入到所述注意力机制， 为每个预定义的方面类别生成注意权 重向量； 如公式(7)所示， 对于第j个方面类别： 其中Wj∈Rd×d,bj∈Rd以及uj∈Rd为可学习参数， β ∈ R1×m， 代表预先学习到的长尾分布特 点， 为训练集中有效样本的数量倒数， αj∈Rn是注意力权 重向量。 4.根据权利要求3所述的方法， 其特征在于， 所述方法采用改进的A ‑DB损失函数训练识 别模型， 所述改进的A ‑DB损失函数改进了 重平衡权 重的计算方式和平 滑函数， 具体包括： 首先， 在不考虑标签共现的情况下， 表示数据集中包含第j个方面类别的样 例数； 针对第j个方面类别的采样频率期望值为 然后按该实例包含的每个正 类重复采样估算出样本采样频率PI， 如公式(8)所示： 其中， 当 时表示第l个句子包 含第j个方面类别aj， 时则不包 含； 重平衡权 重 计算如公式(9)所示： 其中， γ为协调权 重超参数； 所述平滑函数将 映射的公式为：权　利　要　求　书 2/5 页 3 CN 114297390 A 3