(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211241315.6 (22)申请日 2022.10.11 (71)申请人 黑龙江资海科技 集团有限公司 地址 150020 黑龙江省哈尔滨市道外区南 平街72号2层 (72)发明人 陈迪　赵洪涛　于佳平　 (74)专利代理 机构 哈尔滨市晨晟知识产权代理 有限公司 23219 专利代理师 刘文权 (51)Int.Cl. G06Q 30/02(2012.01) G06F 16/951(2019.01) G06K 9/62(2022.01) G06F 40/216(2020.01) (54)发明名称 一种基于聚焦网络爬虫抓取数据的营商环 境态势分析系统 (57)摘要 本发明提出一种基于聚焦网络爬虫抓取数 据的营商环 境态势分析系统， 属于数据处理技术 领域。 包括： 网络爬虫模块、 数据处理模块、 信息 检索模块和数据库； 网络爬虫模块、 数据处理模 块、 信息检索模块和数据库依次连接； 所述网络 爬虫模块用于网站数据的抓取； 包括特征网页地 址集URLs、 URLs队列和网络爬虫单元； 所述数据 处理模块用于对采集到的网络数据进行特征的 提取， 并将结果存入数据库； 所述信息检索模块 根据数据库中存储的特征信息， 实现地区、 行业 多维度的全文和个性化搜索。 解决现有技术中存 在无法有效的对具体平台进行特定数据进行抓 取的技术问题。 权利要求书2页 说明书5页 附图2页 CN 115526666 A 2022.12.27 CN 115526666 A 1.一种基于聚焦网络爬虫抓取数据的营商环境态势分析系统， 其特征在于， 包括： 网络 爬虫模块、 数据处理模块、 信息检索 模块和数据库； 网络爬虫模块、 数据处理模块、 信息检索 模块和数据库依次连接； 所述网络爬虫模块用于网站数据的抓取； 包括特征网页地址集URLs、 URLs队列和网络 爬虫单元； 所述数据处 理模块用于对 采集到的网络数据进行 特征的提取， 并将结果存 入数据库； 所述信息检索模块根据数据库中存储的特征信息， 实现地区、 行业多维度的全文和个 性化搜索。 2.一种基于聚焦网络爬虫抓取数据的营商环境态势分析方法， 其特征在于， 包括以下 步骤： S1.根据区域行业维度， 结合所需采集的数据指标， 创建数据库， 得到所需指数字段； S2.访问网页中所有顶点； S3.计算数据库中特征信息与网页内容的相关度， 并计算网页内容基于相关度的分类， 将相关度和相关的分类与数据库中特征信息进行比较， 如果相关度值高且分类正确， 则表 示网页内容与数据库中特 征信息相关， 将网页内容文本存 储在数据库中； S4.通过可视化图表形式为用户直观呈现统计数据结果。 3.根据权利要求2所述的一种基于聚焦网络爬虫抓取数据的营商环境态势分析方法， 其特征在于， S2具体是， 方法是： 设置初始种子特征网页地址集URLs， 在初始种子特征网页 地址集URLs中提取第一个URL为初始出发点， 并标注为已访问， 依次以初始出发点搜索与初 始出发点为连接的网页链接地址W， 若W未曾访问过， 则以W为新的出发点继续进行遍历， 直 到满足平台的停止条件； 若此时仍有未访问的顶点， 则另选一个尚未访问的顶点作为新的 初始点重复上述过程， 直至在 满足平台的停止条件的前提下将网页中所有顶点均已被访问 为止。 4.根据权利要求3所述的一种基于聚焦网络爬虫抓取数据的营商环境态势分析方法， 其特征在于， 计算数据库中特 征信息与网页内容的相关度： 其中， t为数据库中特征信息集合， y为网页内容文本集合， Gzt为一个关键词z出现在集 合t中的频率， Gzy为一个关键词z出现在集 合y中的频率， Gzt、 Gzy采用tf*idf计算； 5.根据权利要求4所述的一种基于聚焦网络爬虫抓取数据的营商环境态势分析方法， 其特征在于， 计算网页内容基于相关度的分类： 其中， a表示分类名称， m表示分类数量， n表示网页内容文本中关键词的数量。 6.一种电子设备， 其特征在于， 包括存储器和 处理器， 存储器存储有计算机程序， 所述 的处理器执行所述计算机程序时实现权利要求2 ‑5任一项所述的一种基于聚焦网络爬虫抓 取数据的营商环境态 势分析方法方法的步骤。权　利　要　求　书 1/2 页 2 CN 115526666 A 27.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现权利要求2 ‑5任一项所述的一种基于聚焦网络爬虫抓取数据的营商环 境 态势分析方法方法。权　利　要　求　书 2/2 页 3 CN 115526666 A 3