[发明专利]一种大数据获取方法

摘要

本发明公开了一种大数据获取方法，用以解决现有数据交易平台的程序只能实现一对一数据获取的问题。所述大数据获取方法对于具有获取数据权限的数据请求端的获取数据请求，从预先设置的模板库中获取与所述获取数据请求匹配的多个数据源配置模板，选择一个获取的数据源模板并判断其对应的数据源是否满足所述获取数据请求的要求，若满足要求，则将该数据源确定为目标数据源，从目标数据源处获取数据且数据正常时，将目标数据源返回的数据转换为预定格式的数据后返回给所述数据请求端。本发明提供的方法能够通过自动切换数据源配置模板从不同数据提供端获取数据，实现数据交易平台一端对多端数据提供端获取数据的目的，减少数据交易平台软件开发工作量。

主权项

1.一种大数据获取方法，其特征在于，包括：/n接收数据请求端的获取数据请求；所述获取数据请求包括查询参数；/n验证所述数据请求端是否具有获取数据权限；/n当所述数据请求端具有获取数据权限时，判断根据预先设置的匹配规则从模板库中是否能获取到所记录的请求参数与所述查询参数相匹配的数据源配置模板；所述模板库中存储有多个预先设置的数据源配置模板，每个数据源配置模板记录有请求参数及对应的数据源的地址和数据源参数；/n当根据预先设置的匹配规则从模板库中获取到所记录的请求参数与所述查询参数相匹配的至少一个数据源配置模板时，从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板；/n判断当前选择的数据源配置模板对应的数据源是否满足所述获取数据请求的要求；若是，则将当前选择的数据源配置模板对应的数据源确定为目标数据源并执行下一步骤；否则，当所述至少一个数据源配置模板中还有未被选择过的数据源配置模板时，返回执行从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板的步骤；/n根据当前选择的数据源配置模板中记录的地址，向所述目标数据源请求数据；/n判断所述目标数据源返回的数据是否正常；若是，则将所述目标数据源返回的数据转换为预定格式的数据后返回给所述数据请求端；否则，当所述至少一个数据源配置模板中还有未被选择过的数据源配置模板时，返回执行从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板的步骤；/n其中，所述接收数据请求端发来的获取数据请求之前，还包括：预先为所述模板库中的各数据源配置模板设置优先级；/n所述从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板，包括：根据优先级从高到低的顺序，从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板；/n所述方法还包括：/n根据所述数据请求端的历史数据请求行为，预测所述数据请求端对数据源配置模板的喜好度；根据所述数据请求端对数据源配置模板的喜好度，确定所述数据请求端对应的数据源配置模板优先级；/n所述根据优先级从高到低的顺序，从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板，包括：/n根据所述数据请求端对应的数据源配置模板优先级，从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板；/n所述数据请求端的历史数据请求行为包括：当前时间之前的预设时间段内的数据请求行为，所述数据请求行为包括数据请求端在所述预设时间段内每次获取到的数据源配置模板的标识及其数据源的标识；/n所述根据所述数据请求端的历史数据请求行为，确定所述数据请求端对数据源配置模板的喜好度，包括：/n根据所述数据请求端的历史数据请求行为，统计所述数据请求端在所述预设时间段内对数据源配置模板i的使用次数Ni、和从数据源配置模板i对应的数据源Mi获取到数据的次数Q