[发明专利]一种基于可视化管理的分布式证券数据清洗系统

权利要求书

1.一种基于可视化管理的分布式证券数据清洗系统，其特征在于，包括权限控制模块、数据校验模块、分布式数据清洗模块、监控和报告模块、可视化输出模块；

所述权限控制模块对证券数据进行权限控制，具备权限的用户可访问和改动，不具备权限的用户禁止访问和改动，同时支持多用户协作和权限管理；

所述数据校验模块对证券数据进行校验和验证，包括数据格式、数据完整性、数据一致性的检查，并将检查不合格的数据删除，将检查合格的数据传输给数据清洗模块；

所述分布式数据清洗模块利用分布式计算技术处理数据校验模块验证合格的数据，并进行缺失值处理、异常值处理以及重复值删除操作；

所述监控和报告模块可以实时监控数据清洗过程的进展情况，并生成清洗报告和统计指标；

所述可视化输出模块包括数据转换模块、数据选择模块、图表处理模块、视觉展示模块。

2.根据权利要求1所述的一种基于可视化管理的分布式证券数据清洗系统，其特征在于：所述权限控制模块包括权限定制模块、审计日志模块、多用户协作模块；

所述权限定制模块根据用户身份和权限设置访问控制策略，经过授权的用户具有访问特定的数据和功能的权限，并且用户在访问之前需进行身份验证；

所述审计日志模块记录用户的操作日志，包括登录信息、数据访问、数据修改操作，并提供审计功能，允许管理员对日志进行审计和分析；

所述多用户协作模块提供用户管理功能，允许管理员创建、删除和管理用户账户，并且支持角色和权限的定义，管理员为不同的用户分配适当的角色和权限，控制其对数据和功能的访问级别，还支持细粒度的权限控制，允许管理员根据具体需求对数据和功能进行细致的权限控制。

3.根据权利要求1所述的一种基于可视化管理的分布式证券数据清洗系统，其特征在于：所述数据校验模块包括格式检查模块、完整性检查模块、一致性检查模块。

4.根据权利要求3所述的一种基于可视化管理的分布式证券数据清洗系统，其特征在于，所述格式检查模块检查数据类型，检查每个字段的数据类型是否符合规定数据类型，包括日期字段、数字字段、文本字段，并删除不符合规定数据类型的数据，所述规定数据类型与具体的证券数据对应；

所述格式检查模块检查数据长度，检查字段的长度是否在规定范围内，包括最大字符数、数字的位数，删除不符合规定的数据，所述规定范围与具体的证券数据对应；

所述格式检查模块检查枚举值，检查字段的取值是否在预定义的枚举值列表中，并删除不在枚举值列表中的数据，所述预定义的枚举值列表与具体的证券数据对应。

5.根据权利要求3所述的一种基于可视化管理的分布式证券数据清洗系统，其特征在于，所述完整性检查模块对必填字段检查，检查是否所有必填字段都有值，并删除缺少字段的数据，所述必填字段与具体的证券数据对应；

所述完整性检查模块对引用关系检查，检查证券代码和证券名称之间的一致性，删除关系检查不过关的数据并留存记录。

6.根据权利要求3所述的一种基于可视化管理的分布式证券数据清洗系统，其特征在于，所述一致性检查模块对逻辑关系检查，检查数据之间的逻辑关系是否符合预期，包括数据的日期先后顺序、字段的约束条件，并删除逻辑关系有误的数据；对多个字段进行交叉验证，删除交叉验证不过关的数据并留存记录。