[发明专利]一种医疗数据查重和关联的方法及系统

说明书

技术领域

本发明一般地涉及数据处理技术，并且更特别地，涉及医疗数据查重和关联的处理方法及系统。

背景技术

在医疗数据采集过程的实践中，存在同一数据被多次收集并录入数据库的可能性，亦存在数据被专业或非专业人士稍加改动后被当作不同数据收集并录入数据库的可能性。为了保证医疗数据库中数据的真实有效性，需要设定方案，在数据提交后，正式审核通过入库之前，对其进行查重处理，将重复数据阻挡在数据库大门之外。由于医疗数据中存在大量的非结构化数据，例如病历中的症状描述、疾病的治疗方案等，目前医疗数据的深度查重基本有赖于有相关医学经验的人工操作，这不仅效率较低，且耗费大量人力物力，成本高昂。

另外，医学研究不同于其他自然科学学科，相关人体实验管控严格，无法实时对其理论研究进行验证。医学研究因此非常依赖于历史医疗数据诸如患者病历等的收集和分析。因此需要一种有效的医疗数据处理方法使得自动挖掘出医疗数据库中相关性病例成为可能，供进一步的医疗研究与分析。

中国专利CN101609466B提供了一种“海量数据查重的方法和系统”，：提取海量数据中的数据关键字，所述数据关键字用于将所在数据与其他数据区分开；根据所述数据关键字的前N+M个字母分割所述数据关键字，将前N+M个字母相同的数据关键字放入同一个文件中，得到关键字数据文件；其中，所述数据关键字的前N个字母相同，前N+M个字母不完全相同，N、M为非负整数)；分别对各关键字数据文件中的数据进行查重，得到查重结果。该发明较适用于结构化的数据，对于存在大量非结构化数据的医疗数据无法进行有效的查重。另外，该发明没有涉及数据之间的相似性及关联问题。

中国专利CN101751423A提供了“一种稿件查重的方法及系统”，包括：生产数据库中的稿件信息，因对版面上的稿件进行操作而被相应的修改后，时间触发器获取修改后的稿件信息，所述稿件信息包括稿件内容；查重服务器对获取的稿件信息中未进行重复稿件内容比较的稿件信息进行重复稿件内容比较，确定崇高信息，由于查重服务器对事件触发器获取的稿件信息中未进行重复稿件内容比较的稿件信息进行重组稿件内容比较，使得最终确定重稿信息。可以知道，该专利实际达到的技术效果是实现稿件，一种非结构化信息，在提交前自动查重，减少发表中重稿出现的次数。虽然该专利在其实施例中提及了可以运用中文分词库技术对稿件内容进行比对，产生稿件数据之间的相似度，从而进行查重处理，但是该专利并未具体公布如何计算稿件数据之间的相似度问题，也并未涉及如何利用稿件数据之间的相似度对稿件数据之间进行关联。

发明内容

针对上述问题，本发明通过一种医疗数据查重和关联的方法及系统，解决了现有技术中无法对大量存在非结构化数据的医疗数据有效查重以及缺乏建立医疗数据之间的关联的问题。

为了实现上述目的，本发明采用如下技术方案。

一种医疗数据查重和关联的方法，其特征在于，包括以下步骤：

(1)提取待处理的医疗数据中的核心数据项，所述核心数据项用于将所在数据与其他数据区分开；

(2)将核心数据项分类，先将核心数据项先分为结构化数据项及非结构化数据项，而后在结构化数据项中选取一组数据项作为排除数组，其他结构化数据项则作为模糊数组；

(3)分别对排除数组及模糊数组中的各个数据项初步筛查，

(3a)当排除数组中任意一个数据项与医疗数据库中已有同类数据项不同时则判断该医疗数据不重复或无关联并输入医疗数据库中，

或(3b)当模糊数组中不同数据项个数与模糊数组总项数的比例大于设定的阈值M₁时则判断该医疗数据不重复或无关联并输入医疗数据库中，

其他情况则进入下一步骤；

(4)对核心数据项中的各项数据项进行深度筛查，将各个数据项的权重a_i进行赋值，对各个数据项的相似度f_i进行判断计算，

并根据下列公式计算该医疗数据与医疗数据库中已有医疗数据的总相似度F：

其中，0≤f_i≤1,0<F≤1，

当F＝1时，则判断该医疗数据为重复数据并删除；