[发明专利]一种支持可定制化数据采集的元模型框架系统

摘要

本发明提供了一种支持可定制化数据采集的元模型框架系统，涉及信息采集领域。本发明针对传统信息采集系统采集指标变化时，需花费大量人力和时间调整系统的设计方案和代码实现等共性问题，设计了一种可定制的、支持采集指标动态调整的数据采集通用框架系统。应用该框架，可以快速的开发和部署信息采集系统，降低开发和维护成本。

主权项

一种支持可定制化数据采集的元模型框架系统，其特征在于：包括数据采集管理模块、数据核查模块、视图转化模块、元数据管理模块、服务支持模块、数据服务模块，其中：数据采集管理模块：提供采集数据的增加、删除、修改和查询基本操作以及导入导出、数据排序、复杂条件查询操作，当用户通过数据采集管理模块对采集数据进行操作时，数据采集管理模块将用户的请求参数传递给视图转化模块，并访问元数据管理模块读取相应的元数据信息，之后调用服务支持模块进行SQL构造、参数封装和类型转化，最后调用数据服务模块执行SQL访问数据库并返回执行结果，返回的结果则由视图转化模块进行封装，之后返回到数据采集管理模块进行展示；数据核查模块：提供数据前端数据核查、后台数据核查、数据核查结果管理，支持在用户保存数据的时候进行前端实时核查和后台对所有采集数据的统一核查，前端数据核查发生在用户采集数据录入阶段，当用户进行保存数据时，数据核查模块根据采集项的数据核查规则对该用户录入的信息进行实时数据核查，如果验证成功，则该条数据会进行保存，如果数据验证失败，则无法保存该条数据并会对用户进行提示，用户进入到数据核查页面点击数据核查操作，框架进行后台数据核查，对采集数据的格式和规范进行核查；后台数据核查过程如下：数据核查模块向视图转化模块发送请求，获取相应的元数据核查规则信息，根据数据核查规则，数据核查模块对采集数据进行校验，并对校验出错的数据进行记录打标，对核查结果进行保存；同时，数据核查模块提供用户对数据检查结果进行查询、导出查询结果的功能；视图转化模块：提供对元数据的封装、参数解析和数据转化、动态表单生成的功能；视图转化模块统一将数据采集管理模块、数据核查模块请求进行处理和参数解析，之后从元数据管理模块中获取元数据信息并进行数据组装和数据转化，以实现用户数据可读性的转化操作和用户交互页面的表单生成；元数据管理模块：元数据管理模块：提供采集数据指标的描述信息和支持对元数据的信息维护、元数据查询功能；采集数据指标的描述信息包括对采集项目的类型、指标的上下级关系、采集数据的存储信息、采集交互页面元素构建信息和数据核查规则信息；元数据管理模块设计了一套元数据模型，对上述的采集数据指标的具体描述信息使用元数据进行形式化描述；所述元模型中的元数据包括：实体元素、属性元素、实体风格元素、属性风格元素、核查规则元素、数据字典元素、领域信息元素、分类信息元素；元数据管理模块同时还提供页面展示构建元素、数据核查规则信息，元数据信息首先由视图转化模块对信息进行数据封装、参数解析和数据转化，最后分别由数据采集管理模块、数据核查模块完成页面生成和渲染。本框架系统对元数据建立了缓存机制，视图转化模块对元数据进行访问操作时，元数据管理模块首先会根据数据查询条件在缓存中进行查询，如果缓存中存在符合条件的元数据则直接返回结果，否则元数据管理模块从数据库中查询，同时更新缓存；服务支持模块：支持采集数据的增加、删除、修改、查询操作；服务支持模块通过被其他模块调用时传入的元数据信息，进行采集数据执行SQL的构建、参数构建、数据类型处理，然后将构建的SQL和参数信息返回给被调用模块；数据服务模块：提供访问底层数据库的SQL执行和操作接口；数据服务模块可以被其他模块调用，根据其他模块传入的SQL和参数信息执行数据库操作；数据库中存储着元模型数据和采集数据，元模型数据是用来存储相关采集数据指标描述信息的元数据的数据库表即元模型数据存储表，采集数据是用来存储相关采集数据的数据库表即采集数据存储表。元数据管理模块可以通过数据服务模块直接获取元数据信息；其他模块也可以通过服务支持模块构建SQL和参数信息，然后通过数据服务模块执行SQL操作获取采集数据。