[发明专利]数据传输的方法、装置及系统

说明书

本申请公开一种数据传输的方法、装置及系统，该方法包括：对原始数据中是否存在脏数据进行校验，其中所述原始数据为从源系统接收的原始文件中的数据；将校验后生成的文件反馈给所述源系统，以便所述源系统从反馈结果中扫描到所述脏数据后进行干预。该方法能自动发现脏数据并将脏数据反馈给源系统，完成对文件的自动校验，解决了以往在入库阶段才能发现脏数据的弊端，而且在检测出脏数据之后，还将结果自动反馈到源系统，使得脏数据的问题能得到及时的解决，降低源系统与目标系统之间进行沟通的成本。

技术领域

本公开总体涉及数据管理技术领域，具体而言，涉及一种数据传输的方法、装置及系统。

背景技术

在目前的各类应用中，通常需要将不同系统之间的数据进行同步，也就是用户需要从数据源系统获取数据，并将数据加载到目标系统中去。实现不同系统之间的数据同步方法有通过数据库与数据库之间的抽取，也有源系统(也就是数据的提供方)对数据进行本地抽取，落地生成文件之后再传输到目标系统(也就是数据的接收方)进行入库。通过文件传输的抽取方式能降低对源系统(业务系统)的影响，该方法在很多业务系统比较重要的场景(比如银行、电信等行业)有着广泛的应用。

通常的数据传输原理示意图如图1所示，数据从源系统传输到目标系统，只是单一的数据传输。传统的传输很简单，源系统从相关业务系统抽取数据，将数据生成文本格式的文件，再通过FTP/HTTP等网络传输方式进行数据传输，目标系统收到文本格式的文件之后，对该文件进行转换以及入库等操作。文件传输由于经过了抽取、落地(期间会有一定的人工干预)的两个环节，如果在数据生成过程中存在数据格式非法、或不在给定的范围内的数据(通常称为脏数据)，这些脏数据有时不能加载到目标系统中，或者是即便加载到数据库，也会对数据使用造成不良影响。

对于脏数据的处理，目前尚无特定技术与方法，通常是在数据入库的环节发现程序出错，才进行干预处理。

因此，需要一种新的数据传输的方法、装置及系统。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种数据传输的理方法、装置及系统，以解决现有技术中在数据入库阶段才发现脏数据会影响数据使用的技术问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提供一种数据传输的方法，包括：

在入库之前，对原始数据中是否存在脏数据进行校验，其中所述原始数据为从源系统接收的原始文件中的数据；

将校验后生成的文件反馈给所述源系统，以便所述源系统从反馈结果中扫描到所述脏数据后进行干预。

根据本公开的一实施方式，对所述原始数据中是否存在脏数据进行校验包括：

建立配置文件；

根据所述配置文件对所述原始数据进行校验；

如果校验结果为通过，则输出校验通过的标志文件；如果检验结果为失败，则输出校验失败标志文件，并输出校验得到的脏数据。

根据本公开的另一实施方式，所述配置文件中包括至少一条配置信息，每条配置信息对应一个原始文件。

根据本公开的另一实施方式，所述配置信息包括文件名、字段个数以及每个字段对应的数据类型。

根据本公开的另一实施方式，所述配置信息还包括每个字段的数据范围，所述数据范围为枚举值或范围值。

根据本公开的另一实施方式，根据所述配置文件对所述原始数据进行校验包括：