[发明专利]数据收集方法和数据收集系统

说明书

本发明的数据收集方法，自动从应用数据库中提取数据库表结构和字段及其注释，基于事先存储的根据多个业务数据库中提取的字段和注释生成的业务数据字典，将从应用数据库中提取的字段及注释与从业务数据库中提取出的业务数据字典中的字段及注释进行匹配，并确定映射规则，基于映射规则从业务数据库中提取应用数据库所需的数据，并以XML文件形式导出并将XML文件上传到服务器，由服务器生成索引文件，建立索引文件服务器和应用数据库的通信，使得应用数据库能够访问所需的数据。

技术领域

本发明涉及数据收集方法和数据收集系统，特别是涉及基于业务系统数据的数据收集方法和数据收集系统，尤其是应用于医疗等大数据领域的数据收集方法和数据收集系统。

背景技术

近年来随着互联网、云计算、移动和物联网等的迅猛发展，无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据，数以亿计用户的互联网服务时时刻刻在产生巨量的交互，要处理的数据量巨大，数据一直都在以每年50％的速度增长，而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求，传统的常规技术手段根本无法应付，因此，大数据技术(Big Data)成为近年来的一个技术热点，引起了广泛的重视。

大数据(Big Data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”大数据领域中，往往数据体量巨大；数据类型繁多，相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。

为了能够访问大数据，例如专利文献1中公开了一种数据访问层 XML格式数据与关系数据间的映射转换方法。该映射转换方法中包括数据模型之间的关联关系：数据模型之间的关联关系是由数据模型的一个字段关联另一个数据模型中的一个字段而构成的，在字段属性中有一个字段对象类型定义，当选择为关联关系时，可以定义与 另一个模型的关联，在关联中指定关联模型中与之关联的字段，关联的附加条件，并指定在模型中查询关联的相关关联模型的字段，比如一个客户数据模型，其中有一个地区字段，关联地区数据模型，在关联的时候指定关联带出地区数据模型的地区编码、名称的信息；设计时定义的数据对象和数据模型，用自定义的一套XML标记来描述，其保存格式本身为XML文档格式，作为元数据或描述数据的数据资源来管理；在运行时阶段，由数据访问引擎，根据设计时定义的元数据信息，结合输入的数据信息，动态的构造数据库存取访问的SQL语句，访问数据库，自动完成增删改查的数据访问层的功能，为了提高效率，对动态构造过程的结果进行适量缓存；为兼容数据库差异，在数据访问引擎构造SQL以及访问数据库时，根据元数据的相关信息，根据当前访问的数据库类型和版本，针对数据库类型和版本之间方言的差异，使用策略模式，动态的调整SQL语句以适应不同的数据库类型和版本。

专利文献1：CN 200710015726

发明内容

本发明要解决的技术课题

但是，专利文献1这样的映射转换方法，一般只能处理关系数据库的数据，而很难处理非关系型数据库。实际应用中，各种类型不同的数据库都可能存在。为了有效利用大数据，需要对多个业务系统中的数据进行集成整合。

但是，传统大数据集成方法存在如下问题：

(1)收集多个业务系统中数据结构不同的数据，统一数据标准非常困难；

(2)各个系统的数据库版本和逻辑关系不同，即使统一起来也会遇到兼容性问题；

(3)随着业务的发展，业务数据发生改变，此时只要数据库结构不一样，就需要重新设计；

(4)在数据达到一定数量级后，基于数据库检索的速度会非常慢。