[发明专利]一种基于大数据技术的医疗数据交换共享系统及方法

说明书

本发明属于大数据及数据交换共享技术领域，公开了一种基于大数据技术的医疗数据交换共享系统及方法，基于大数据技术的医疗数据交换共享方法为：基于spark sql计算引擎实现数据分析、统计、清洗操作；配置mapred‑site.xml文件里的参数，设置MapReduce执行引擎，配置spark‑defaults.conf文件、hive参数，搭建基层hadoop环境；编写动态解析配置文件方法；基于mule进行集成调度kettle，传参分装到配置文件。本发明能够实现数据批量自动化处理，数据交换共享速率高；采集过程采用压缩技术，能够降低网络宽带的压力；全流程自动监控处理过程，能够降低数据维护量。

技术领域

本发明属于大数据及数据交换共享技术领域，尤其涉及一种基于大数据技术的医疗数据交换共享系统及方法。

背景技术

目前，最接近的现有技术：随着社会的发展，人们对医疗数据的高速查询需求，以及医疗数据的准确性需求越来越大。而现有的大数据技术无法在一定的时间范围内用常规的软件工具进行捕捉、管理和处理数据的共享整合，并且存在数据难维护、处理效率和稳定性低、数据偏移严重等问题。需要在新的处理模式下才能有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化。

综上所述，现有技术存在的问题是：现有的大数据技术无法在一定的时间范围内用常规的软件工具进行捕捉、管理和处理数据的共享整合，并且存在数据难维护、处理效率和稳定性低、数据偏移严重等问题，以及传统医疗数据在存储方面故障多发、运维难度大、容灾能力低，海量医疗数据存储能力有限。在数以亿计多维数据分析方面效率低下，检索耗时、特别是针对数据的挖掘清洗更是力不从心。

解决上述技术问题的难度：医疗数据专业化程度高，业务流程分散、数据整合难度大，数据清洗规则繁多，普通的数据处理模式已经满足不了医疗业务处理需求。

解决上述技术问题的意义：本发明基于大数据开发的医疗数据交换共享平台，可以完成数据的高效存储和交换，并集中数据，统一格式，提供基于个人主索引的数据共享服务。

发明内容

针对现有技术存在的问题，本发明提供了一种基于大数据技术的医疗数据交换共享系统及方法，旨在解决现有医疗数据交换共享中出现的医疗数据类型复杂、处理效率低、数据偏移严重等问题。

本发明是这样实现的，一种基于大数据技术的医疗数据交换共享系统，包括：

数据采集模块：通过mule作为任务统一调度，调用医院存储前置服务，利用封装的kettle作为数据适配器，把数据抽取到大数据中心进行存储。

数据存储模块：与数据采集模块连接，处于分析和检索性能的分析，数据中心分别以hive作为数据仓库，hbase、ElasticSearch作为数据检索库，分别存储业务主题、统计分析、流程状态、电子病历、健康档案等数据。

数据交换模块：与数据存储模块连接，当医疗数据存储到大数据之后，需要针对不同的业务进行数据的一致性，及时性，规范性，完整性的校验统计，其执行语句是基于sparksql语法进行定制，因为spark技术是基于内存计算的，所以执行效率高，源于spark sql的兼容性，其规则可完全动态维护。

数据共享模块：与数据交换模块连接，通过电子健康卡统一接口完成电子健康卡号分发，通过业务协同集成系统完成与医院系统的实时数据共享。

进一步，所述基于大数据技术的医疗数据交换共享系统进一步包括展现层、业务层和持久层。

本发明的另一目的在于提供一种应用所述基于大数据技术的医疗数据交换共享系统的基于大数据技术的医疗数据交换共享方法，针对所有医疗数据进行数据分析，主要的数据处理内容有：数据的一致性：数据传输过程中院方统计数据和实际采集数据量的比对；数据的及时性：是业务数据发生时间与数据上报时间的时间差值；数据的完整性：是业务表之间的关联关系的校验；数据的规范性：是针对业务字段的范围做一个规范。