[发明专利]数据接入方法及数据接入装置

说明书

一种数据接入方法及装置，一个实施例中的方法包括：响应数据接入指令，根据数据接入指令在参数配置数据表中查找对应的第一产品标识；从参数配置数据表的配置信息中查找与第一产品标识对应的配置信息，与第一产品标识对应的配置信息至少包括：源数据路径、描述性信息及该描述性信息的数据指标信息；读取与源数据路径对应的源数据；读取与源数据路径对应的源数据中，与描述性信息对应的描述性数据以及与数据指标信息对应的指标数据；根据读取的描述性数据及指标数据计算描述性数据的数据指标；将描述性数据以及描述性数据的数据指标作为接入数据进行数据接入。本实施例的方案可以快速实现不同的数据源的数据的配置化接入，提高了数据接入的效率。

技术领域

本发明涉及信息处理技术领域，特别是涉及一种数据接入方法以及一种数据接入装置。

背景技术

随着互联网技术的快速发展，在目前的网络技术应用中，通过接入不同产品的数据，以对各种数据进行大数据分析，实现各种指数和数据的运算，已经是互联网运用的一项重要内容。为了能够进行大数据分析，从各个产品接入相关的基础数据，成为其中的一项重要内容，而接入基础数据的效率和质量，直接影响到后续的分析处理等过程的效率和质量。

目前的接入各产品的基础数据的方式，通常是针对各产品的数据源分别接入，即针对各数据源，分别编写对应的程序代码，对各数据源分别采用其对应的程序代码进行文件验证、数据读取、数据检验、数据写入、数据告警等各种编码分析处理过程。或者是直接统一各个数据源的数据格式，使得整个过程只需要一套代码就可以进行批量处理。然而，在采用对各产品的数据源分别接入的情况下，每个数据源都需要有对应的程序代码，不仅需要增加很多重复性的工作，导致开发、测试等成本高，而且随着接入的数据源或者数据量的加大，代码量会持续增大，需要增加的模块也越来越多，维护困难。在统一各数据源格式的情况下，虽然实现了代码复用，但却只适用于数据内容相似的接入场景，对于数据格式差异大的场景并不适用。

发明内容

基于此，本实施例提供一种数据接入方法以及一种数据接入装置，以提高数据接入的效率。

为达到上述目的，本实施例采用以下技术方案：

一种数据接入方法，包括步骤：

响应数据接入指令，根据所述数据接入指令在参数配置数据表中查找到对应的第一产品标识；

从所述参数配置数据表的配置信息中查找到与所述第一产品标识对应的配置信息，与所述第一产品标识对应的配置信息至少包括：源数据路径、描述性信息以及该描述性信息的数据指标信息；

读取与所述源数据路径对应的源数据；

读取与所述源数据路径对应的源数据中，与所述描述性信息对应的描述性数据以及与所述数据指标信息对应的指标数据；

根据读取的描述性数据以及与所述数据指标信息对应的指标数据，计算所述描述性数据的数据指标；

将所述描述性数据以及所述描述性数据的数据指标作为接入数据进行数据接入。

一种数据接入装置，包括：

标识查找模块，用于响应数据接入指令，根据所述数据接入指令在参数配置数据表中查找到对应的第一产品标识；

配置信息获取模块，用于从所述参数配置数据表的配置信息中查找到与所述第一产品标识对应的配置信息，与所述第一产品标识对应的配置信息至少包括：源数据路径、描述性信息以及该描述性信息的数据指标信息；

源数据读取模块，用于读取与所述源数据路径对应的源数据；

数据读取模块，用于读取与所述源数据路径对应的源数据中，与所述描述性信息对应的描述性数据以及与所述数据指标信息对应的指标数据；