[发明专利]一种基于业务端的数据清洗方法

权利要求书

1.一种基于业务端的数据清洗方法，其特征在于：包括：

业务端将本地数据转换为对应的标签字段，并形成标签字段组；

将标签字段组上传至服务端；

服务端存储有若干标准标签字段与对应数据清洗算法的关联关系；

服务端将上传得到的标签字段组与所述标准标签字段进行匹配，得到匹配度最高的标准标签字段；

服务端将与匹配度最高的标准标签字段关联的数据清洗算法下发至业务端；

业务端利用得到的数据清洗算法对本地数据进行清洗。

2.根据权利要求1所述的一种基于业务端的数据清洗方法，其特征在于：所述业务端将标签字段组上传至服务端时，将业务端类型一并上传至服务器；

所述服务端存储有若干标准标签字段与对应数据清洗算法的关联关系，替换为：

所述服务端存储有若干业务端类型、标准标签字段与对应数据清洗算法的关联关系。

3.根据权利要求1所述的一种基于业务端的数据清洗方法，其特征在于：所述的标准标签字段与对应数据清洗算法的关联关系的获取方式，具体包括：

获取若干业务端数据，所述业务端数据包括标签字段；

根据实际需求，选择多个标签字段组成数据字典，以形成标准标签字段；

对标准标签字段的数据采用若干数据清洗算法进行清洗；

将清洗效果最好的数据清洗算法与对应的标准标签字段进行关联。

4.根据权利要求1所述的一种基于业务端的数据清洗方法，其特征在于：所述方法还包括：

服务端将清洗后的源数据进行调取。

5.根据权利要求4所述的一种基于业务端的数据清洗方法，其特征在于：所述方法还包括：

服务端检测到业务端接入预定的接口时，建立与业务端的连接，并创建服务线程，以获取并解析来自业务端的请求；所述请求包括数据清洗算法获取请求和源数据调取请求；

所述服务端的服务线程在解析到来自业务端的请求为数据清洗算法获取请求时，利用所述预定的接口进行数据下发；

所述服务端的服务线程在解析到来自业务端的请求为源数据调取请求时，建立业务端与源数据接口的连接。

6.根据权利要求5所述的一种基于业务端的数据清洗方法，其特征在于：在所述建立业务端与源数据接口的连接后，创建第一监听线程；同时：

所述第一监听线程对源数据调取过程进行监听，判断源数据接口是否能访问成功并成功返回请求数据，同时判断源数据接口接收到的返回的数据是否为有效数据；如果有任意一项不满足，则生成预警信息并发送；

在判断源数据接口能访问成功后，创建对应于所述源数据接口的第二监听线程；

所述第二监听线程轮询式监听业务端的数据库日志记录，验证当前数据是否有效存在；如果不满足，则生成预警信息并发送。

7.根据权利要求6所述的一种基于业务端的数据清洗方法，其特征在于：所述的判断源数据接口是否能访问成功，具体包括：

通过http协议访问请求源数据接口，验证接口是否正常能调用；

判断成功返回请求数据，具体包括：

采用http协议判断接口请求状态，并根据返回的协议状态码进行验证；

所述的判断源数据接口接收到的返回的数据是否为有效数据，具体包括：

验证数据结构：接口请求成功后返回的数据结构是否满足业务需求；

验证每个数据项格式是否正确，包括字符、数字、汉字和长度在内的字符类型验证；

验证所有返回的数据项是否都是合法有效数据；

所述验证当前数据是否有效存在，具体包括：

在业务端的数据库中以轮询式搜索日志记录的数据表中是否有新数据产生，具体采用任务调度器轮询式使用Tsql脚本语句搜索。