[发明专利]数据获取方法、装置和系统

说明书

本申请实施例公开了数据获取方法、装置和系统。所述的数据获取方法，包括：接收发送端发送的数据获取请求；解析数据获取请求以确定所接收的数据获取请求的类型；创建与数据获取请求的类型相匹配的数据获取任务；以及执行数据获取任务，并向目的端反馈数据获取任务的处理结果。该实现方式实现了基于数据获取请求的任务分发和调度，有利于提升数据获取的效率。

技术领域

本申请实施例涉及通信技术领域，具体涉及消息传输领域，尤其涉及数据获取方法、装置和系统。

背景技术

在很多需要进行多端通信交互的系统中，服务端通常都会扮演着任务执行者的角色。服务端接收客户端的数据获取请求，并且向客户端反馈数据获取的结果。

在自动驾驶汽车这一系统中，各终端在运行过程中将会产生大量的运行时数据，这些数据例如包括：车辆驾驶状态信息、周边环境采集信息及各算法模块(例如，预处理、感知、定位、地图等)输入输出I/O信息。在车辆运行的过程中这些数据被快速的产生和消费，这些信息的正确性直接关系到车辆是否正常运行、各模块是否正常工作、算法结果是否正常等。所以如何获取分析这些数据对自动驾驶系统的开发和调试有着重要的作用。

现有的自动驾驶系统中，尚不具备统一的对外数据采集-鉴权-分发的功能，各模块为满足各自业务需求各自开发数据处理工具。

发明内容

本申请实施例提出了数据获取方法、装置和系统。

第一方面，本申请实施例提供了一种数据获取方法，包括：接收发送端发送的数据获取请求；解析数据获取请求以确定所接收的数据获取请求的类型；创建与数据获取请求的类型相匹配的数据获取任务；以及执行数据获取任务，并向目的端反馈数据获取任务的处理结果。

在一些实施例中，数据获取请求的类型包括推动类型；创建与数据获取请求的类型相匹配的任务，包括：响应于数据获取请求的类型为推动类型，创建多线程任务，其中，多线程任务的线程数量基于数据获取请求所请求获取的数据类型的数量确定；执行任务，并向目的端反馈任务处理结果，包括：使多线程任务中的每个线程执行与该线程对应的数据获取任务；响应于多线程任务中的各线程均执行完成，向发送端反馈数据获取任务的处理结果。

在一些实施例中，数据获取请求所请求获取的数据通过如下的数据存储步骤进行存储：响应于接收到数据存储请求，确定数据存储请求所指示的待存储数据的数据类型；将待存储数据添加至预先创建的、与所确定的数据类型相对应的消息队列的队尾。

在一些实施例中，数据存储步骤还包括：响应于消息队列所存储的数据的数量等于消息队列预先设置的长度，将消息队列队首数据移除，并将所移除的数据作为历史数据存储至预先设置的数据库中。

在一些实施例中，执行数据获取任务，并向目的端反馈数据获取任务的处理结果，包括：基于数据获取请求所请求数据的实时性确定所请求数据的存储位置；从所确定的存储位置获取与数据获取任务相应的数据，并向目的端反馈数据获取任务的处理结果。

第二方面，本申请实施例提供了一种数据获取系统，包括：任务调度层，用于接收发送端发送的数据获取请求，解析数据获取请求以确定所接收的数据获取请求的类型；任务处理层，用于创建与数据获取请求的类型相匹配的数据获取任务，执行数据获取任务，并向目的端反馈数据获取任务的处理结果。

在一些实施例中，任务处理层还用于：响应于数据获取请求的类型为推动类型，创建多线程任务，其中，多线程任务的线程数量基于数据获取请求所请求获取的数据类型的数量确定；多线程任务中的每个线程执行与该线程对应的数据获取任务；以及响应于多线程任务中的各线程均执行完成，向发送端反馈数据获取任务的处理结果。

在一些实施例中，系统还包括：数据分发层，用于响应于接收到数据存储请求，确定数据存储请求所指示的待存储数据的数据类型，以及将待存储数据添加至预先创建的、与所确定的数据类型相对应的消息队列的队尾。