[发明专利]一种大数据获取方法

说明书

本发明公开了一种大数据获取方法，用以解决现有数据交易平台的程序只能实现一对一数据获取的问题。所述大数据获取方法对于具有获取数据权限的数据请求端的获取数据请求，从预先设置的模板库中获取与所述获取数据请求匹配的多个数据源配置模板，选择一个获取的数据源模板并判断其对应的数据源是否满足所述获取数据请求的要求，若满足要求，则将该数据源确定为目标数据源，从目标数据源处获取数据且数据正常时，将目标数据源返回的数据转换为预定格式的数据后返回给所述数据请求端。本发明提供的方法能够通过自动切换数据源配置模板从不同数据提供端获取数据，实现数据交易平台一端对多端数据提供端获取数据的目的，减少数据交易平台软件开发工作量。

技术领域

本发明涉及数据交易技术领域，特别涉及一种大数据获取方法。

背景技术

随着大数据技术的成熟和发展，大数据在商业上的应用越来越广泛，提供数据的服务商也越来越多，但是由于每个服务商都有其特定的数据提供方式，数据需求者一般需要通过数据交易平台向提供数据的服务商发送请求，目前的数据交易平台针对每个服务商，需要专门编写实现上述数据交易过程的程序，即现有的数据交易平台的数据交易程序只能实现一对一的数据交易，这样，若数据交易平台要接入多个服务商时，就需要开发多套程序，开发程序费时费力，交易平台的程序组成复杂，维护管理不方便；另外，不同服务商提供的数据格式种类较多，现有技术中的数据交易平台一般是将从服务商处获取的数据直接以原格式发送给用户，导致数据需求者需要对部分格式的数据进行解析后才能使用，极大的增加了需求者工作量。

发明内容

本发明提供一种大数据获取方法，用以解决现有数据交易平台的程序只能实现一对一数据获取的问题，通过一个方法流程实现一对多自动获取数据的目的。

本发明提供一种大数据获取方法，包括：

接收数据请求端的获取数据请求；所述获取数据请求包括查询参数；

验证所述数据请求端是否具有获取数据权限；

当所述数据请求端具有获取数据权限时，判断根据预先设置的匹配规则从模板库中是否能获取到所记录的请求参数与所述查询参数相匹配的数据源配置模板；所述模板库中存储有多个预先设置的数据源配置模板，每个数据源配置模板记录有请求参数及对应的数据源的地址和数据源参数；

当根据预先设置的匹配规则从模板库中获取到所记录的请求参数与所述查询参数相匹配的至少一个数据源配置模板时，从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板；

判断当前选择的数据源配置模板对应的数据源是否满足所述获取数据请求的要求；若是，则将当前选择的数据源配置模板对应的数据源确定为目标数据源并执行下一步骤；否则，当所述至少一个数据源配置模板中还有未被选择过的数据源配置模板时，返回执行从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板的步骤；

根据当前选择的数据源配置模板中记录的地址，向所述目标数据源请求数据；

判断所述目标数据源返回的数据是否正常；若是，则将所述目标数据源返回的数据转换为预定格式的数据后返回给所述数据请求端；否则，当所述至少一个数据源配置模板中还有未被选择过的数据源配置模板时，返回执行从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板的步骤。

在一个实施例中，所述判断当前选择的数据源配置模板对应的数据源是否满足所述获取数据请求的要求，包括：

向所述当前选择的数据源配置模板对应的数据源发送获取参数请求；

接收所述当前选择的数据源配置模板对应的数据源返回的数据源参数；

判断接收的数据源参数是否与所述当前选择的数据源配置模板中记录的数据源参数相一致，若是，则断定所述当前选择的数据源配置模板对应的数据源满足所述获取数据请求的要求。