(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210740610.X (22)申请日 2022.06.28 (71)申请人 万达信息股份有限公司 地址 200233 上海市徐汇区桂平路481号20 号楼5层 申请人 青岛市人力资源发展研究与促进中 心 (72)发明人 李明　魏秋月　张帅　尹向华　 姜荣强　李军焘　顾帅　栾涌涛　 矫专本　寻延虎　 (74)专利代理 机构 上海申汇 专利代理有限公司 31001 专利代理师 翁若莹　柏子雵 (51)Int.Cl. G06K 9/62(2022.01)G06F 40/30(2020.01) G06F 40/284(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于自然语言理解的伤残等级鉴定及评定 依据推演方法 (57)摘要 本发明提供的一种基于自然语言理解的伤 残等级鉴定及评定依据推演方法通过对劳动能 力鉴定的病伤情描述文本进行分析， 构建基于 Bert文本分类的智能伤残等级鉴定模型和基于 文本相似度的评定依据匹配模型。 在数据预处理 之后作为模 型输入， 得到伤残 等级预测的分类结 果， 再通过降维与评定依据做文本相似度计算匹 配到依据。 采用本发明输出的结果作为辅助决 策， 减少了 人工鉴定时间， 加快鉴定效率， 让申请 保障人员尽快享受应有权益。 权利要求书3页 说明书12页 附图2页 CN 115293229 A 2022.11.04 CN 115293229 A 1.一种基于自然语言理解的伤残等级鉴定及评定依据推演方法， 其特征在于， 包括以 下步骤： 步骤1、 通过文本输入层Input  Layer对所输入的病伤情描述文本inputs进行处理， 将 输入表示为三个Embedding之和的形式： 词的Embedding向量、 位置的Embedding向量和 Segment的Embed ding向量， 得到文本的输入表征xin， 如下式所示： xin＝Embeddingtoken(inputs)+Embed dingsegment(inputs)+Embed dingposition(inputs) 步骤2、 特征提取器得到文本语义表征， 其中， 特征提取器由多个有Transformer的 Encoder结构堆栈起来得到， 每个有Transformer的Encoder结构由一个多头注意力机制层 和一个前馈网络组成， 得到每 个有Transformer的Encoder结构输出的文本表征为： xmid＝LayerNorm(xin+MultiHeadA ttention(xin)) xout＝LayerNorm(xmid+FFN(xmid)) 式中： LayerNorm()为归一化操作； FFN()为全连接前向神经网络； xmid表示中间层输 出； xout为有Transformer的Encoder结构的最终输出； MultiHeadAttention()为多头注意 力机制； 步骤3、 建立四分类模型以及八 分类模型， 同时在数据层面对数据进行处 理： 在数据层面， 将伤残一级到伤残八级所对应的数据整合为第一个等级， 其余的伤残九 级、 伤残十级、 未达等级作为另外三个等级， 利用四个等级的数据对四分类模型进行训练； 再将第一个等级按照伤残一级到伤残八级分为八个等级， 利用这八个等级的数据对八 分类模型进行训练 在四分类模型训练过程中， 自定义带有权重的交叉熵损 失函数以提高模型效果， 针对 四个等级设置相应的权 重， 设置的权 重越高， 则损失越大， 则交叉熵损失函数公式为： 其中， Li为第i个类别的损失， pij为第j个样本属于第i个类别的样本真实标签， qij为第j 个样本属于第i个 类别的预测输出， wi为第i个类别的权 重； 步骤4、 模型修 正 对于包含“极重度智能损伤 ”、“小肠切除≧90％ ”、“重度非肢体瘫运动障碍 ”的样本数 据， 四分类模型直接 输出等级为第一个等级； 步骤5、 根据病伤情描述， 构建评定依据匹配模型， 评定依据匹配模型的目标是对于所 给的病伤请描述检索得到评定依据的一个子集， 根据之前四分类模型以及八分类模型得到 的伤残等级， 在子集中找到对应等级下相似度最高的评定依据， 作为评定依据模型输出结 果。 2.如权利要求1所述的一种基于自然语言理解的伤残等级鉴定及评定依据推演方法， 其特征在于， 步骤2中， 所述归一 化操作包括以下步骤： 分别对输入的样本的n个特征求均值和方差， 因此可以得到n个均值和方差， 然后用这n 个均值和方差对n个样本来做归一 化， 计算公式如下： 权　利　要　求　书 1/3 页 2 CN 115293229 A 2式中， μi表示第i个样本的特征均值， xij表示第i个样本的第j个特征， 表示第i个样本 的特征方差， 表示归一 化操作输出的第i个样本的第j个特 征归一化值。 3.如权利要求1所述的一种基于自然语言理解的伤残等级鉴定及评定依据推演方法， 其特征在于， 步骤2中， 所述全连接前向神经网络的公式表示 为： FFN(x)＝max(0,W1x+b1)W2+b2 式中， W1、 W2为权重参数矩阵， b1、 b2为偏置项参数。 4.如权利要求3所述的一种基于自然语言理解的伤残等级鉴定及评定依据推演方法， 其特征在于， 步骤2中， 所述多头注意力机制由多个自注意力机制拼接得到， 每个自注意力 机制的具体操作步骤如下： 步骤2.1、 依据得到输入表征xin， 分别乘三个不同权值的参数矩阵WQ、 WK、 WV， 分别得到 Query向量 Q、 Key向量K和Value向量V； 步骤2.2、 为向量计算得分 score， score＝ QKT 步骤2.3、 为了梯度稳定， 将得分scor e除以 从而将得分score归一化， dk表示K的长 度； 步骤2.4、 对 归一化后的得分 score施以softmax激活函数； 步骤2.5、 softmax后点乘V， 得到加权的每个输入表征xin的评分V， 即对于每个输入表 征 xin， 每个自注意力机制的输出为： 式中， Attention(Q,K,V)即为 一个自注意力机制针对一个输入表征xin的输出； 将输入表征xin输入所有自注意力机制得到的评分V相加之后得到最终的多头注意力机 制的输出 结果Z， Z＝∑V。 5.如权利要求1所述的一种基于自然语言理解的伤残等级鉴定及评定依据推演方法， 其特征在于， 步骤2中， 在对特征提取器进行训练时加入对抗训练， 对抗训练统一写成如下 格式： 其中， D代表训练集， x代表输入， y代表标签， E(x,y)～D表示经验风险， θ是模型参数， L(x, y； θ )是单个样本的损失， Δx是对抗扰动， Ω是扰动空间。 6.如权利要求4所述的一种基于自然语言理解的伤残等级鉴定及评定依据推演方法， 其特征在于， 所述 步骤5包括以下步骤： 步骤5.1、 学习病伤情描述和评定依据的向量表示， 将二者分别映射到一个k维 Embedding空间中， 如下式所示：权　利　要　求　书 2/3 页 3 CN 115293229 A 3