说明:收录全网最新的团体标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210705381.8 (22)申请日 2022.06.21 (71)申请人 腾讯科技 (深圳) 有限公司 地址 518000 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 王明 赵学敏  (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 谭英强 叶恩华 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/126(2020.01) G06F 40/194(2020.01) G06F 40/279(2020.01) G06F 40/30(2020.01) (54)发明名称 语料标签确定方法、 装置、 电子设备及存储 介质 (57)摘要 本申请实施例公开了一种语料标签确定方 法、 装置、 电子设备及存储介质, 该语料标签确定 方法通过 获取基准标签集合和样 本标签集合, 获 取基准标签集合对应的多个基准语料, 获取样本 标签集合对应的多个样本语料, 由于样本标签集 合包括所有的基准语料标签以及扩展语料标签, 扩展语料标签用于指示除了基准语料类别以外 的其他语料类别, 即样本语料中也会存在其他语 料类别的语料, 因此根据基准语料和样本语料来 训练得到目标分类模型, 可以具备识别其他语料 类别的语料的能力, 从而提升目标分类模型的泛 化效果, 在利用目标分类模型确定目标语料的目 标语料标签时, 可以提升目标语料标签的准确 性, 可以广泛应用于云技术、 人工智 能等技术领 域。 权利要求书4页 说明书22页 附图11页 CN 115203405 A 2022.10.18 CN 115203405 A 1.一种语料 标签确定方法, 其特 征在于, 包括: 获取基准标签集合和样本标签集合, 其中, 所述基准标签集合包括多个基准语料标签, 所述基准语料标签用于指示基准语料类别, 所述样本标签集合包括扩展语料标签以及所有 的所述基准语料标签, 所述扩展语料标签用于指示除了所述基准语料类别以外的其他语料 类别; 获取所述基准标签集合对应的多个基准语料, 获取样本标签集合对应的多个样本语 料; 初始化原 始分类模型; 将任意一个所述样本语料和各个所述基准语料标签对应的所述基准语料作为语料数 据集合, 将所述语料数据集合输入至所述原始分类模型, 得到所述样本语料对应的样本分 类结果向量; 根据所述样本分类结果向量以及所述样本标签集合计算分类损失值, 根据所述样本分 类结果向量计算距离损失值, 其中, 所述距离损失值用于表征所述样本语料与各个所述基 准语料标签之间的距离均匀程度; 根据所述分类损失值和所述距离损失值确定目标损失值, 根据 所述目标损失值调 整所 述原始分类模型的参数, 得到目标分类模型; 获取目标语料, 将所述目标语料输入至所述目标分类模型, 得到所述目标语料的目标 语料标签。 2.根据权利要求1所述的语料标签确定方法, 其特征在于, 所述样本分类结果向量包括 所述样本语料属于各种所述基准语料类别的样本概率值, 所述根据所述样本分类结果向量 计算距离损失值, 包括: 计算所述各个所述样本概 率值的目标对数值; 计算各个所述样本概 率值与对应的所述目标对数值之间的乘积; 根据各个所述样本概 率值对应的所述乘积之和计算距离损失值。 3.根据权利要求1所述的语料标签确定方法, 其特征在于, 所述初始化原始分类模型, 包括: 获取第一参考语料和第二参考语料, 其中, 所述第一参考语料与所述第二参考语料之 间的句子相似度大于或者 等于预设的第一相似度阈值; 将所述第一参考语料与所述第 二参考语料输入至参考模型, 对所述第 一参考语料以及 所述第二参考语料进 行编码, 得到所述第一参考语料对应的第一参考语料向量以及所述第 二参考语料对应的第二 参考语料向量; 确定所述第 一参考语料向量和所述第 二参考语料向量之间的第 一向量相似度, 根据 所 述第一向量相似度计算 参考损失值; 根据所述参考损失值调整所述参考模型的参数, 根据所述参考模型调整后的参数初始 化原始分类模型。 4.根据权利要求1所述的语料标签确定方法, 其特征在于, 所述获取所述基准标签集合 对应的多个 基准语料, 包括: 显示语料输入界面; 获取从所述语料输入界面中输入的多个候选语料, 对所述候选语料进行分词处理, 得权 利 要 求 书 1/4 页 2 CN 115203405 A 2到所述候选语料的候选关键词; 将与所述基准标签集合中任意一个所述基准语料标签相匹配的所述候选关键词作为 目标关键词, 在所述语料输入界面中对所述目标关键词进行突出显示; 当所述候选语料中存在至少一个被突出显示的所述目标关键词, 将所述候选语料作为 所述基准标签集 合对应的基准语料。 5.根据权利要求1至4任意一项所述的语料标签确定方法, 其特征在于, 所述将所述目 标语料输入至所述目标分类模型, 得到所述目标语料的目标语料 标签, 包括: 将所述目标语料输入至所述目标分类模型, 对所述目标语料进行编码, 得到目标语料 向量; 获取各个所述基准语料 标签的语料 标签向量; 确定所述目标语料向量与 各个所述语料标签向量之间的第 二向量相似度, 根据 所述第 二向量相似度得到所述 目标语料对应的目标分类结果向量, 其中, 所述 目标分类结果向量 包括所述目标语料属于各种所述基准语料类别的目标概 率值; 将所述目标概率值与 预设的概率阈值进行比较, 根据比较结果得到所述目标语料的目 标语料标签。 6.根据权利要求5所述的语料标签确定方法, 其特征在于, 所述根据比较结果得到所述 目标语料的目标语料 标签, 包括: 当各个所述目标概率值均小于或者等于预设的概率阈值, 确定所述目标语料的目标语 料标签为所述扩展语料 标签; 或者, 当至少一个所述目标概率值大于所述概率阈值, 确定所述目标语料的目标语料 标签为所述目标概 率值最大的所述基准语料类别对应的所述基准语料 标签。 7.根据权利要求5所述的语料 标签确定方法, 其特 征在于, 所述方法还 包括: 当所述目标语料标签为多个基准语料标签中的任意一个时, 根据 所述目标分类结果向 量确定所述目标语料的语料置信度; 当所述语料置信度大于或者等于预设的置信度阈值, 将所述目标语料以及所述目标语 料标签确定为目标训练数据; 初始化第一待训练模型, 根据所述目标训练数据调整所述第一待训练模型的参数, 得 到语料识别模型。 8.根据权利要求7 所述的语料 标签确定方法, 其特 征在于, 所述方法还 包括: 获取待识别语料, 将所述待识别语料输入至所述语料识别模型, 对所述待识别语料进 行识别, 得到第一识别结果; 将所述待识别语料输入至关键语义识别模型, 对所述待识别语料进行识别, 得到第二 识别结果, 其中, 所述关键语义识别模型基于所述目标训练数据预 先训练得到; 根据所述第一识别结果和所述第二识别结果得到所述待识别语料的目标识别结果。 9.根据权利要求8所述的语料标签确定方法, 其特征在于, 所述根据所述第 一识别结果 和所述第二识别结果得到所述待识别语料的目标识别结果, 包括: 获取历史语料以及所述历史语料的历史识别结果, 对所述历史语料以及所述待识别语 料进行分词处理, 得到所述历史语料的多个第一词语以及所述待识别语料的多个第二词 语;权 利 要 求 书 2/4 页 3 CN 115203405 A 3

.PDF文档 专利 语料标签确定方法、装置、电子设备及存储介质

文档预览
中文文档 38 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共38页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 语料标签确定方法、装置、电子设备及存储介质 第 1 页 专利 语料标签确定方法、装置、电子设备及存储介质 第 2 页 专利 语料标签确定方法、装置、电子设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 14:14:56上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。