(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210835983.5 (22)申请日 2022.07.15 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 赵妍妍　杨浩　车万翔　秦兵　 (74)专利代理 机构 哈尔滨华夏松花江知识产权 代理有限公司 23213 专利代理师 岳昕 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于图神经网络的中文多模态细粒度 情感分析方法 (57)摘要 一种基于图神经网络的中文多模态细粒度 情感分析方法， 涉及自然语言处理技术领域， 针 对现有技术中对多模态数据中细粒度评价对象 情感分析准确率低的问题， 本通过挖掘图文两种 模态下的细粒度语义线索， 并通过构建多模态异 构图显式建模两个模态下的细粒度语义线索， 促 进了跨模态的细粒度信息融合， 有效提升了多模 态图文细粒度情感分析的准确率。 权利要求书2页 说明书7页 附图2页 CN 115099234 A 2022.09.23 CN 115099234 A 1.一种基于图神经网络的中文多模态细粒度情感分析方法， 其特征在于包括以下步 骤： 步骤一： 获取多模态评论数据， 所述多模态评论数据包括中文评论文本、 多张图片以及 评价类别； 步骤二： 获取评论文本中的关键词； 步骤三： 获取图片中的ROI； 步骤四： 分别将多模态评论数据中的图片和ROI进行编码， 得到图片的向量表示和ROI 的向量表示； 步骤五： 将图片的向量表示和ROI的向量表示输入基于卷积神经网络CNN的图片多标签 分类器， 得到图片的相关类别和ROI的相关类别； 步骤六： 针对评价类别中的每个目标类别， 将中文评论文本、 目标类别以及图片的相关 类别和ROI的相关类别进行拼接， 并通过预训练模型BERT进 行编码， 得到包含上下文语义信 息的字级别文本序列向量表示， 所述包含上下文语义信息的字级别文本序列向量表示中包 括目标类别的字向量和其 他字向量； 步骤七： 将包含上下文语义信 息的字级别文本序列向量表示中的目标类别的字向量进 行加和平均， 得到目标类别的词向量表示； 步骤八： 将包含上下文语义信 息的字级别文本序列向量表示分别与图片的向量表示和 ROI的向量表示进 行拼接， 并将拼接结果输入多模态编码 器， 得到图片的多模态向量表 示和 ROI的多模态向量表示； 步骤九： 将图片的多模态向量表示和ROI的多模态向量表示进行加和平均， 得到图片序 列的多模态向量表示； 步骤十： 根据包含上下文语义信 息的字级别文本序列向量表示中的其他字向量得到评 论文本中的每个关键词对应的字向量， 之后将每个关键词对应的字 向量进行加和平均， 得 到评论文本中的关键词向量表示； 步骤十一： 以目标类别的词向量表示、 包含上下文语义信息的字级别文本序列向量表 示、 图片序列的多模态向量表示作为固定节点的向量表示， 将固定节点间直接相连建边， 得 到包含固定节点的多模态 异构图； 步骤十二： 基于包含固定节点的多模态异构图， 将图片的多模态向量表示和ROI的多模 态向量表 示作为多模态异构图中的图像节点向量表示和ROI节 点向量表 示， 其中ROI按从属 性与图片节点相连建边， 图片节点与图片序列节点相连建边， 若图片或ROI与 目标类别相 关， 则将图片节 点或ROI节 点与目标类别节 点建边， 若图片或ROI和目标类别不相关， 则不建 边， 进而得到包 含图像节点的多模态 异构图； 步骤十三： 基于包含图像节点的多模态异构图， 以评论文本中的关键词向量表示作为 多模态异构图中的关键词节点的向量表示， 将关键词节点与文本序列节点固定相连建边， 关键词节点互连建边， 得到包含文本 关键词节点的多模态异构图， 即完整的多模态异构图， 所述完整的多模态 异构图包括节点表示和邻接矩阵； 步骤十四： 将节点表示及邻接矩阵作为输入， 利用图卷积神经网络得到融合多模态异 构图交互信息的目标类别向量表示； 步骤十五： 将融合多模态异构图交互信 息的目标类别向量表示与包含上下文语义信 息权　利　要　求　书 1/2 页 2 CN 115099234 A 2的字级别文本序列向量表示及图片序列的多模态向量表示进 行拼接后作为输入， 输入新的 多模态编码器， 得到包 含多模态融合的隐层向量表示； 步骤十六： 将包 含多模态融合的隐层向量表示送入线性分类层， 得到情感分类结果。 2.根据权利要求1所述的一种基于图神经网络的中文多模态细粒度情感分析方法， 其 特征在于所述步骤二中获取评论文本中的关键词通过将中文评论文本输入中文关键词提 取器Jieba进行。 3.根据权利要求1所述的一种基于图神经网络的中文多模态细粒度情感分析方法， 其 特征在于所述步骤三中获取图片对应的ROI通过将多模态评论数据中的图片 输入目标检测 器Detect ron2进行。 4.根据权利要求1所述的一种基于图神经网络的中文多模态细粒度情感分析方法， 其 特征在于所述 步骤四中编码通过图像编码器ResNet进行。 5.根据权利要求1所述的一种基于图神经网络的中文多模态细粒度情感分析方法， 其 特征在于所述图卷积神经网络中节点的更新表示 为： 其中 代表经过l ‑1层图卷积获得的图中节点表示， 代表经过当 前图卷积层得到的节点表示， 为中间计算结果， 是图中第i个节点的度， 权重 Wl和bl为可训练参数， n为图中总节点数目， Aij为邻接矩阵中第i个节点和第j个节点间的数 值， 代表第0号节点经过L层图卷积后的向量表示， VG∈Rd×768表示包含多模态细粒度融合 信息的图向量表示。 6.根据权利要求1所述的一种基于图神经网络的中文多模态细粒度情感分析方法， 其 特征在于所述情感分类结果表示以为： r＝Pooling(H) y＝Softmax(W0r+b0) 其中， W0和b0为可训练参数， H为步骤十五中得到的包含多模态融合的隐层向量表示， r 为H经过池化后的中间结果表示， y为输出情感分类结果。 7.根据权利要求1所述的一种基于图神经网络的中文多模态细粒度情感分析方法， 其 特征在于所述多模态评论数据为酒店多模态评论数据。 8.根据权利要求7所述的一种基于图神经网络的中文多模态细粒度情感分析方法， 其 特征在于所述评价类别包括： 区位、 餐饮、 房间设施、 娱乐设施、 公共区域和服 务。权　利　要　求　书 2/2 页 3 CN 115099234 A 3