[发明专利]数据传输的方法、装置及系统有效
申请号: | 201610157785.2 | 申请日: | 2016-03-18 |
公开(公告)号: | CN107203564B | 公开(公告)日: | 2020-11-24 |
发明(设计)人: | 颜博;王晓;葛胜利;王建辉 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27 |
代理公司: | 北京律智知识产权代理有限公司 11438 | 代理人: | 姜燕;王卫忠 |
地址: | 100080 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据传输 方法 装置 系统 | ||
1.一种数据传输的方法,其特征在于,包括:
在入库之前,对原始数据中是否存在脏数据进行校验,其中所述原始数据为从源系统接收的原始文件中的数据;对所述原始数据中是否存在脏数据进行校验包括:建立配置文件;根据所述配置文件对所述原始数据进行校验;如果校验结果为通过,则输出校验通过的标志文件;如果检验结果为失败,则输出校验失败标志文件,并输出校验得到的脏数据;所述配置文件中包括至少一条配置信息,每条配置信息对应一个原始文件;所述配置信息包括文件名、字段个数以及每个字段对应的数据类型;
将校验后生成的文件反馈给所述源系统,以便所述源系统从反馈结果中扫描到所述脏数据后进行干预;
若存在所述脏数据,则对所述原始数据进行检查和修复,并将修复后的文件重新传输至目标系统。
2.根据权利要求1所述的方法,其特征在于,所述配置信息还包括每个字段的数据范围,所述数据范围为枚举值或范围值。
3.根据权利要求2所述的方法,其特征在于,根据所述配置文件对所述原始数据进行校验包括:
读取并判断所述原始数据中的实际字段个数与所述配置信息中的字段个数是否一致、所述原始数据中每个字段的实际数据类型与所述配置信息中每个字段的数据类型是否一致以及所述原始数据中每个字段的实际值是否在所述配置信息中每个字段的数据范围内;
当所述原始数据中的实际字段个数与所述配置信息中的字段个数一致,且所述原始数据中每个字段的实际数据类型与所述配置信息中每个字段的数据类型一致以及所述原始数据中每个字段的实际值在所述配置信息中每个字段的数据范围内时所述校验结果为通过。
4.一种数据传输的装置,其特征在于,包括:
校验模块,用于在入库之前,对原始数据中是否存在脏数据进行校验,其中所述原始数据为从源系统接收的原始文件中的数据;所述校验模块中包括:
配置子模块,用于建立配置文件;所述配置文件中包括至少一条配置信息,每条配置信息对应一个原始文件;所述配置信息包括文件名、字段个数以及每个字段对应的数据类型;
校验子模块,用于根据所述配置文件对所述原始数据进行校验;以及
输出子模块,用于输出所述校验子模块的校验结果,当校验结果为通过时,输出校验通过的标志文件;当检验结果为失败时,输出校验失败标志文件,并输出校验得到的脏数据;
以及
反馈模块,用于将检验后生成的文件反馈给所述源系统,以便所述源系统从反馈结果中扫描到所述脏数据后进行干预;若存在所述脏数据,则对所述原始数据进行检查和修复,并将修复后的文件重新传输至目标系统。
5.一种数据传输的系统,包括源系统和目标系统,其特征在于,所述源系统向所述目标系统传输原始文件,所述目标系统包括:
校验模块,用于在入库之前,对所述原始文件的原始数据中是否存在脏数据进行校验;对所述原始文件的原始数据中是否存在脏数据进行校验包括:建立配置文件;根据所述配置文件对所述原始数据进行校验;如果校验结果为通过,则输出校验通过的标志文件;如果检验结果为失败,则输出校验失败标志文件,并输出校验得到的脏数据;所述配置文件中包括至少一条配置信息,每条配置信息对应一个原始文件;所述配置信息包括文件名、字段个数以及每个字段对应的数据类型;以及
反馈模块,用于将检验后生成的文件反馈给所述源系统;
所述源系统包括:
扫描模块,用于进行循环扫描,扫描到所述反馈模块的反馈结果后,对所述脏数据进行干预;
所述源系统中还包括:
重传模块,用于在对所述脏数据进行干预之后进行检查和修复,并将修复后的数据重新传输给所述目标系统。
6.一种电子设备,其特征在于,包括:
处理器;
存储器,存储用于所述处理器控制如权利要求1-3任一项所述的方法步骤。
7.一种计算机可读介质,其上存储有计算机可执行指令,其特征在于,所述可执行指令被处理器执行时实现如权利要求1-3任一项所述的方法步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610157785.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种用于汽车前窗的波纹洗涤管
- 下一篇:面向生鲜食品的智能推荐系统