[发明专利]一种数据采集方法、装置及系统

说明书

本发明公开了一种数据采集方法，包括：数据抽取线程从对应的业务数据库中抽取原始数据；利用数据清洗线程进行筛选过滤，利用数据加工线程对类型进行转换，利用数据封装线程封装成对应的XML文件；可见，获取业务数据库中的原始数据时，可通过与该业务数据库对应的数据抽取线程获取原始数据，从而增加了数据采集装置的横向扩展性；并且，本方案中通过单独的数据清洗线程、数据加工线程和数据封装线程对原始数据进行处理，这样在每个线程处理数据时，可通过调整线程数量参数控制线程的启停，从而增加了线程启停的灵活性，提高采集效率；本发明实施例还公开了一种数据采集装置及系统，同样能实现上述技术效果。

技术领域

本发明涉及数据采集技术领域，更具体地说，涉及一种数据采集方法、装置及系统。

背景技术

随着医疗云的普及，从海量分散医疗机构数据中挖据有价值的数据，可用来协助社区及基层卫生机构的初级医生对患者作出准确的诊断和用药决策；通过对各个社区居民的医疗数据进行汇总及统计分析，可实现对流行病、慢性病的自动筛查、趋势分析和爆发预警，为公共卫生机构制定防治干预计划和行动提供有力的依据和参考。因此，如何快速的获取患者的症状、生命体征、检验检测结果、医疗影像、诊断、处方、医嘱、手术、住院和账单等全周期数据，实现对终端数据的快速采集，为后续得大数据处理工作提供支撑，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种数据采集方法、装置及系统，以实现从业务数据库中快速获取数据，为后续得大数据处理工作提供支撑。

为实现上述目的，本发明实施例提供了如下技术方案：

一种数据采集方法，包括：

通过数据抽取线程从对应的业务数据库中抽取原始数据；

利用数据清洗线程对所述原始数据进行筛选过滤，生成第一处理数据；

利用数据加工线程对所述第一处理数据的类型进行转换，生成第二处理数据；

利用数据封装线程将所述第二处理数据封装成对应的XML文件；

其中，所述数据抽取线程、所述数据清洗线程、所述数据加工线程和所述数据封装线程的线程数量参数均为可自定义的线程数量参数。

其中，所述通过数据抽取线程从对应的业务数据库中抽取原始数据之前，还包括：

接收用户输入的线程数量参数修改指令；

利用所述线程数量参数修改指令，对所述数据抽取线程、所述数据清洗线程、所述数据加工线程和所述数据封装线程中至少一者的线程数量参数进行调整。

其中，所述通过数据抽取线程从对应的业务数据库中抽取原始数据之后，还包括：

检测所述原始数据的第一数据属性；

根据所述第一数据属性调整所述数据清洗线程的线程数量参数。

其中，所述利用数据清洗线程对所述原始数据进行筛选过滤，生成第一处理数据之后，还包括：

检测所述第一处理数据的第二数据属性；

根据所述第二数据属性调整所述数据加工线程的线程数量参数。

其中，所述利用数据加工线程对所述第一处理数据的类型进行转换，生成第二处理数据之后，还包括：

检测所述第二处理数据的第三数据属性；

根据所述第三数据属性调整所述数据封装线程的线程数量参数。

其中，所述将利用数据封装线程将所述第二处理数据封装成对应的XML文件之后，还包括：

根据所述XML文件的优先级信息，确定与所述XML文件对应的目标业务队列；