[发明专利]一种基于可视化管理的分布式证券数据清洗系统

说明书

本发明公开了一种基于可视化管理的分布式证券数据清洗系统，属于证券数据清洗技术领域，包括权限控制模块、数据校验模块、分布式数据清洗模块、监控和报告模块、可视化输出模块，权限控制模块对证券数据进行权限控制，具备权限的用户可访问和改动，不具备权限的用户禁止访问和改动，同时支持多用户协作和权限管理所述数据校验模块对证券数据进行校验和验证，包括数据格式、数据完整性、数据一致性的检查，并将检查不合格的数据删除，将检查合格的数据传输给数据清洗模块；本发明是有效的解决了现有技术中的证券数据在数据中心进行保存和处理，有很大的安全隐患，不利于数据安全有效运作的问题。

技术领域

本发明涉及证券数据清洗技术领域，更具体地说，涉及一种基于可视化管理的分布式证券数据清洗系统。

背景技术

证券数据是指与证券市场和证券交易相关的各种数据，包括证券的交易信息、市场行情、财务指标、公司公告等，这些数据可以用于证券市场的分析、投资决策和风险管理等方面，数据清洗是对原始数据进行处理和筛选，以确保数据的质量和准确性，在证券数据中，数据清洗具有重要的必要性，可以提高数据的质量和准确性，确保数据的一致性和完整性，帮助用户进行更准确、可靠的投资决策，但是现有技术中的证券数据在数据中心进行保存和处理，一旦数据中心的数据受到盗取，就会有很大的安全隐患，不利于数据安全有效运作；

为此，我们提出一种基于可视化管理的分布式证券数据清洗系统。

发明内容

本发明的目的在于提供一种基于可视化管理的分布式证券数据清洗系统，以解决上述背景技术中提出的问题：

现有技术中的证券数据在数据中心进行保存和处理，一旦数据中心的数据受到盗取，就会有很大的安全隐患，不利于数据安全有效运作。

一种基于可视化管理的分布式证券数据清洗系统，包括权限控制模块、数据校验模块、分布式数据清洗模块、监控和报告模块、可视化输出模块；

所述权限控制模块对证券数据进行权限控制，具备权限的用户可访问和改动，不具备权限的用户禁止访问和改动，同时支持多用户协作和权限管理；

所述数据校验模块对证券数据进行校验和验证，包括数据格式、数据完整性、数据一致性的检查，并将检查不合格的数据删除，将检查合格的数据传输给数据清洗模块；

所述分布式数据清洗模块利用分布式计算技术处理数据校验模块验证合格的数据，并进行缺失值处理、异常值处理以及重复值删除操作；

所述监控和报告模块可以实时监控数据清洗过程的进展情况，并生成清洗报告和统计指标；

所述可视化输出模块包括数据转换模块、数据选择模块、图表处理模块、视觉展示模块。

优选地，所述权限控制模块包括权限定制模块、审计日志模块、多用户协作模块；

所述权限定制模块根据用户身份和权限设置访问控制策略，经过授权的用户具有访问特定的数据和功能的权限，并且用户在访问之前需进行身份验证；

所述审计日志模块记录用户的操作日志，包括登录信息、数据访问、数据修改操作，并提供审计功能，允许管理员对日志进行审计和分析；

所述多用户协作模块提供用户管理功能，允许管理员创建、删除和管理用户账户，并且支持角色和权限的定义，管理员为不同的用户分配适当的角色和权限，控制其对数据和功能的访问级别，还支持细粒度的权限控制，允许管理员根据具体需求对数据和功能进行细致的权限控制。

优选的，所述数据校验模块包括格式检查模块、完整性检查模块、一致性检查模块。

优选地，所述格式检查模块检查数据类型，检查每个字段的数据类型是否符合规定数据类型，包括日期字段、数字字段、文本字段，并删除不符合规定数据类型的数据，所述规定数据类型与具体的证券数据对应；

所述格式检查模块检查数据长度，检查字段的长度是否在规定范围内，包括最大字符数、数字的位数，删除不符合规定的数据，所述规定范围与具体的证券数据对应；