说明:收录全网最新的团体标准 提供单次或批量下载
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111449196.9 (22)申请日 2021.11.30 (71)申请人 北京达佳互联信息技 术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 (72)发明人 刘凡 高旭宁 张皓天 温瀚翔 张紫钰 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 代理人 贾允 方秀琴 (51)Int.Cl. G06F 16/35(2019.01) G06F 16/38(2019.01) G06N 20/00(2019.01) G06F 40/289(2020.01) (54)发明名称 文本处理方法、 文本分类方法、 装置、 设备及 存储介质 (57)摘要 本公开关于一种文本处理方法、 文本 分类方 法、 装置、 设备及存储介质, 该文本分类方法包 括: 获取待处理文本; 在待处理文本的长度大于 预设长度的情况下, 从待处理文本中提取出预设 长度的第一子文本; 在第二子文本包括预设字 符 的情况下, 拼接预设字 符和第一子文本中的多个 字符, 得到 预设长度的第一目标拼接文本; 其中, 第二子文本为待处理文本中除第一子文本之外 的文本。 本公开既解决了长文本字数不符合语言 模型要求的问题, 又可以从长文本中截取表示文 本核心内容的关键字符和 需要监测的主题名 称 的第一目标拼接文本对模型训练, 从而提升了模 型的性能, 使得训练得到的语言模 型在对文本进 行分类时具有更高的准确率。 权利要求书2页 说明书17页 附图7页 CN 114186060 A 2022.03.15 CN 114186060 A 1.一种文本处 理方法, 其特 征在于, 包括: 获取待处 理文本; 在所述待处理文本的长度大于预设长度的情况下, 从所述待处理文本中提取出所述预 设长度的第一子文本; 在第二子文本包括预设字符的情况下, 拼接所述预设字符和所述第 一子文本中的多个 字符, 得到所述预设长度的第一目标拼接文本; 其中, 所述第二子文本为所述待处 理文本中除所述第一子文本之外的文本 。 2.根据权利要求1所述的文本处理方法, 其特征在于, 所述拼接所述预设字符和所述第 一子文本中的多个字符, 得到所述预设长度的第一目标拼接文本, 包括: 从所述第一子文本 中提取出预设数量个字符; 所述第 一子文本中除所述预设数量个字 符之外的字符的数量, 与所述预设字符所包括的字符的数量相等; 拼接所述预设数量个字符和所述预设字符, 得到所述第一目标拼接文本 。 3.根据权利要求2所述的文本处理方法, 其特征在于, 所述在所述待处理文本的长度 大 于预设长度的情况 下, 从所述待处 理文本中提取 出所述预设长度的第一子文本, 包括: 以所述待处理文本的首位字符作为起始位置, 向后 一个字符的方向提取出第 一数量的 字符, 得到首 段文本; 以所述待处理文本的末位字符作为终止位置, 向前一个字符的方向提取出第 二数量的 字符, 得到末段文本; 将所述首段文本和所述末段文本作为所述第 一子文本; 所述第 一数量与所述第 二数量 之间的差值小于预设数量阈值。 4.根据权利要求3所述的文本处理方法, 其特征在于, 所述预设字符中包括第 三数量个 字符, 所述从所述第一子文本中提取 出预设数量个字符, 包括: 以所述首段文本的首位字符作为起始位置, 向后一个字符的方向提取出第四数量的字 符; 以所述末段文本的末位字符作为终止位置, 向前一个字符的方向提取出第五数量的字 符; 将所述第四数量的字符和所述第五数量的字符作为所述预设数量个字符; 其中, 所述第四数量小于所述第 一数量, 所述第五数量小于所述第二数量, 第 一差值与 第二差值的和等于所述第三数量, 所述第一差值表征所述第一数量与所述第四数量之 间的 差值, 所述第二差值表征 所述第二数量与所述第五数量之间的差值。 5.一种文本分类方法, 其特 征在于, 包括: 获取待分类文本; 在所述待分类文本的长度大于预设长度的情况下, 从所述待分类文本中提取出所述预 设长度的第一子文本; 在第二子文本包括预设字符的情况下, 拼接所述预设字符和所述第 一子文本中的多个 字符, 得到所述预设长度的第二 目标拼接文本; 所述第二子文本为所述待分类文本中除所 述第一子文本之外的文本; 通过预设语言模型对所述第 二目标拼接文本进行分类; 所述预设语言模型为基于权利 要求1中的第一目标拼接文本进行训练得到 。权 利 要 求 书 1/2 页 2 CN 114186060 A 26.一种文本处 理装置, 其特 征在于, 包括: 待处理文本获取模块, 被 配置为执 行获取待处 理文本; 第一提取模块, 被配置为执行在所述待处理文本的长度大于预设长度的情况下, 从所 述待处理文本中提取 出所述预设长度的第一子文本; 第一拼接模块, 被配置为执行在第二子文本包括预设字符的情况下, 拼接所述预设字 符和所述第一子文本中的多个字 符, 得到所述预设长度的第一目标拼接文本; 其中, 所述第 二子文本为所述待处 理文本中除所述第一子文本之外的文本 。 7.一种文本分类装置, 其特 征在于, 包括: 待分类文本获取模块, 被 配置为执 行获取待分类文本; 第二提取模块, 被配置为执行在所述待分类文本的长度大于预设长度的情况下, 从所 述待分类文本中提取 出所述预设长度的第一子文本; 第三拼接模块, 被配置为执行在第二子文本包括预设字符的情况下, 拼接所述预设字 符和所述第一子文本中的多个字符, 得到所述预设长度的第二 目标拼接文本; 所述第二子 文本为所述待分类文本中除所述第一子文本之外的文本; 分类模块, 被配置为执行通过预设语言模型对所述第二目标拼接文本进行分类; 所述 预设语言模型为基于 权利要求1中的第一目标拼接文本进行训练得到 。 8.一种电子设备, 其特 征在于, 包括: 处理器; 用于存储所述处 理器可执行指令的存 储器; 其中, 所述处理器被配置为执行所述指令, 以实现如权利要求1至4中任一项所述的文 本处理方法或权利要求5所述的文本分类方法。 9.一种计算机可读存储介质, 当所述计算机可读存储介质中的指令由电子设备的处理 器执行时, 使得所述电子 设备执行如权利要求 1至4中任一项 所述的文本处理方法或权利要 求5所述的文本分类方法。 10.一种计算机程序产品, 包括计算机程序, 其特征在于, 所述计算机程序被处理器执 行时实现权利要求1至4中任一项所述的文本处 理方法或权利要求5所述的文本分类方法。权 利 要 求 书 2/2 页 3 CN 114186060 A 3
专利 文本处理方法、文本分类方法、装置、设备及存储介质
文档预览
中文文档
27 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助1.5元下载(无需注册)
温馨提示:本文档共27页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助1.5元下载
本文档由 人生无常 于
2024-03-19 01:22:13
上传分享
举报
下载
原文档
(921.3 KB)
分享
友情链接
DB51-T 3050-2023 四川省行政执法案件编号规则 四川省.pdf
DB5304-T 038 蓝莓种植技术规程 玉溪市.pdf
GB-T 34349-2017 输气管道内腐蚀外检测方法.pdf
T-CSZFC 1—2022 慈善组织食品捐赠规范.pdf
GB-T 28827.4-2019 信息技术服务 运行维护 第4部分:数据中心服务要求.pdf
GB-T 37227.1-2018 制冷系统绩效评价与计算测试方法 第1部分:蓄能空调系统.pdf
T-SMA 0031—2022 智能电力井盖监测模块检验规范 第 3 部分:气体.pdf
奇安信 API安全能力建设桔皮书.pdf
TCESA 1156-2021 信息技术服务 从业人员能力评价指南 运行维护服务.pdf
GB-T 43697-2024 数据安全技术 数据分类分级规则.pdf
T-GDC 232—2023 企业数字化水平评价规范.pdf
GB-T 35561-2017 突发事件分类与编码.pdf
GB-T 25181-2019 预拌砂浆.pdf
GB-T 33174-2016 资产管理 管理体系 GB-T 33173 应用指南.pdf
GB-T 351-2019 金属材料 电阻率测量方法.pdf
GB/T 39468-2020 陆地定量遥感产品真实性检验通用方法.pdf
T-JSJCXH T-JSJCXH4—2023 先张法预应力超高强混凝土管桩.pdf
法律法规 最高人民法院、最高人民检察院关于办理非法利用信息网络、帮助信息网络犯罪活动等刑事案件适用法律若干问题的解释2019-10-21.pdf
T-ZMDS 70001—2022 数字化生产义齿.pdf
JR-T 0068-2020 网上银行系统信息安全通用规范-2020.pdf
1
/
3
27
评价文档
赞助1.5元 点击下载(921.3 KB)
回到顶部
×
微信扫码支付
1.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。