(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210935752.1 (22)申请日 2022.08.04 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 林鑫　徐炎猛　张炜　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 韩丽波 (51)Int.Cl. G06F 16/2453(2019.01) G06F 16/953(2019.01) G06F 9/50(2006.01) (54)发明名称 一种数据采集方法及装置 (57)摘要 本申请公开了一种数据采集方法， 可以应用 于金融领域或者其它领域。 包括： 从消息队列中 读取数据采集任务， 并利用至少一个线程执行所 述数据采集任务。 所述至少一个线程包括第一线 程和第二线程， 第一线程用于执行第一前置任务 和第一数据抓取任务， 所述第一数据抓取任务在 所述第一前置任务之后执行， 所述第二线程用于 执行第二前置任务和第二数据抓取任务， 所述第 二数据抓取任务在所述第二前置任务之后执行， 所述第二前置任务在所述第一前置任务执行完 成之后执行， 在所述第二前置任务执行完成之 后， 所述第一数据抓取任务和所述第二数据抓取 任务并行执行。 在大部分时间里， 所述第一线程 和第二线程并行运行， 因此， 本方案有效提升了 数据采集的效率。 权利要求书2页 说明书6页 附图2页 CN 115292358 A 2022.11.04 CN 115292358 A 1.一种数据采集方法， 其特 征在于， 所述方法包括： 从消息队列中读取 数据采集任务； 利用至少一个线程执行所述数据采集任务， 所述至少一个线程包括第 一线程和第 二线 程， 所述第一线程用于执行采集第一数据的第一前置任务和采集所述第一数据的第一数据 抓取任务， 所述第一数据抓取任务在所述第一前置任务之后执行， 所述第二线程用于执行 采集第二数据的第二前置任务和采集所述第二数据的第二数据抓取任务， 所述第二数据抓 取任务在所述第二前置任务之后执行， 所述第二前置任务在所述第一前置任务执行完成之 后执行， 在所述第二前置任务执行完成之后， 所述第一数据抓取任务和所述第二数据抓取 任务并行 执行； 其中： 所述至少一个线程除执行数据采集任务之外的时间用于监 听所述消息队列， 当监 听到 所述消息队列中包括任务时， 读取所述消息队列中的任务， 所述任务包括所述数据采集任 务。 2.根据权利要求1所述的方法， 其特 征在于， 所述第一数据抓取任务包括： 调用网络 输入输出接口I/O抓取 所述第一数据。 3.根据权利要求1所述的方法， 其特征在于， 在接收所述数据采集任务之后， 利用至少 一个线程执 行所述数据采集任务之前， 所述方法还 包括： 将所述数据采集任务划分成至少一个子任务， 所述至少一个子任务包括采集所述第 一 数据和采集所述第二数据。 4.根据权利要求3所述的方法， 其特征在于， 所述至少一个子任务还包括采集第三数 据， 则所述至少一个线程还包括第三线程， 所述第三线程用于执行采集所述第三数据的第 三前置任务和采集所述第三数据的第三数据抓取任务， 所述第三数据抓取任务在所述第三 前置任务之后执行， 所述第三前置任务在所述第二前置任务执行完成之后执行， 在所述第 三前置任务执 行完成之后， 所述第三数据抓取任务和所述第二数据抓取任务并行 执行。 5.一种数据采集装置， 其特 征在于， 所述装置包括： 读取单元， 用于从消息队列中读取 数据采集任务； 执行单元， 用于利用至少一个线程执行所述数据采集任务， 所述至少一个线程包括第 一线程和 第二线程， 所述第一线程用于执行采集第一数据的第一前置任务和采集所述第一 数据的第一数据抓取任务， 所述第一数据抓取任务在所述第一前置任务之后执行， 所述第 二线程用于执行采集第二数据的第二前置任务和采集所述第二数据的第二数据抓取任务， 所述第二数据抓取任务在所述第二前置任务之后执行， 所述第二前置任务在所述第一前置 任务执行完成之后执行， 在所述第二前置任务执行完成之后， 所述第一数据抓取任务和所 述第二数据抓取任务并行 执行； 其中： 所述至少一个线程除执行数据采集任务之外的时间用于监 听所述消息队列， 当监 听到 所述消息队列中包括任务时， 读取所述消息队列中的任务， 所述任务包括所述数据采集任 务。 6.根据权利要求5所述的装置， 其特 征在于， 所述第一数据抓取任务包括： 调用网络 输入输出接口I/O抓取 所述第一数据。 7.根据权利要求5所述的装置， 其特 征在于， 所述装置还 包括： 任务划分单元， 用于在接收所述数据采集任务之后， 利用至少一个线程执行所述数据权　利　要　求　书 1/2 页 2 CN 115292358 A 2采集任务之前， 将所述数据采集任务划分成至少一个子任务， 所述至少一个子任务包括采 集所述第一数据和采集所述第二数据。 8.根据权利要求7所述的装置， 其特征在于， 所述至少一个子任务还包括采集第三数 据， 则所述至少一个线程还包括第三线程， 所述第三线程用于执行采集所述第三数据的第 三前置任务和采集所述第三数据的第三数据抓取任务， 所述第三数据抓取任务在所述第三 前置任务之后执行， 所述第三前置任务在所述第二前置任务执行完成之后执行， 在所述第 三前置任务执 行完成之后， 所述第三数据抓取任务和所述第二数据抓取任务并行 执行。 9.一种数据采集设备， 其特征在于， 所述数据采集设备包括： 处理器、 存储器、 系统总 线； 所述处理器以及所述存储器通过所述系统总线相连； 所述存储器用于存储一个或多个 程序， 所述一个或多个程序包括指令， 所述指令当被所述处理器执行时使所述处理器执行 权利要求1至4任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有指令， 当所述指令在终端设备上运行时， 使得所述终端设备执行权利要求1至4任一项所述的方 法。权　利　要　求　书 2/2 页 3 CN 115292358 A 3