[发明专利]一种电子病历高质短语抽取方法

摘要

本发明涉及一种电子病历高质短语抽取方法，属于大数据检索技术领域，该方法分为频繁短语挖掘、短语质量评估、短语切分和先验短语集更新四个阶段。首先进行频繁短语挖掘，基于频度统计，当短语出现频度大于阈值时，认为该短语频繁；然后，根据先验短语集对生成的频繁短语候选进行短语质量评估；接着，根据评估出的短语质量值进行短语切分，并修正错误的原始频率估计；最后，将切分结果中的高质短语加入先验短语集，完成高质短语抽取及先验短语集更新，以便在下次短语切分时，达到更好的切分效果。本方法能够有效抽取电子病历中的高质短语，抽取出的短语是病历中的常用词汇，且符合医生的使用习惯。

主权项

一种电子病历高质短语抽取的方法，其特征在于，该方法分为频繁短语挖掘、短语质量评估、短语切分和先验短语集更新四个阶段；具体包括以下步骤：1)频繁短语挖掘包括以下步骤：1‑1)数据预处理：采用Jieba分词组件对电子病历进行中文分词处理，得到一系列词语；1‑2)基于原始频度，根据以往经验设定频度阈值，当词语的原始频度大于阈值时，认为该词语是频繁的；1‑3)将频繁词语组合成短语，当短语的原始频度大于阈值时，则该短语是频繁的；频繁的词语和短语，共同构成候选频繁短语；2)短语质量评估包括以下步骤：2‑1)对候选频繁短语选取点互信息PMI，K‑L散度，倒排文档频率IDF，以及停止词出现的频率次数和出现在引号、括号中的短语频次五个特征作为每个候选频繁短语的特征；2‑2)根据提取的五个特征，采用K‑means方法对候选频繁短语进行聚类，将所有候选频繁短语聚为300类；2‑3)在每个聚类中挑选一个候选频繁短语，根据先验短语集对候选频繁短语进行打标处理，打标为“0”或“1”分值，1表示该短语既是候选频繁短语，又存在于先验短语集中；否则打标为0；2‑4)使用已打标候选频繁短语训练随机森林分类模型：从已打标的候选频繁短语中，每次随机挑选100个短语，再对挑选的每个短语随机挑选1至4个特征生成一棵决策树；当生成规定数目的决策树时，由这些决策树构成的随机森林分类模型训练完毕；2‑5)对电子病历中所有短语由随机森林分类模型评估质量值：随机森林分类模型中的每棵决策树为电子病历中每个短语评估“0”或“1”的质量值，该短语最终质量值是随机森林分类模型中所有决策树打出分值的均值；3)电子病历短语切分包括以下步骤：3‑1)训练长度惩罚值：初始时设定短语长度上限值和下限值，设长度惩罚值为上限值和下限值的均值；根据长度惩罚值采用二分算法对打标为“1”的候选频繁短语进行切分；若打标为“1”的候选频繁短语长度大于长度惩罚值，则该候选频繁短语被切分，则对上限值和下限值进行调整，直到打标为“1”的候选频繁短语均被切分，则此时的长度惩罚值训练完毕；3‑2)训练修正频率：采用viterbi算法，根据训练好的长度惩罚值对电子病历所有短语进行切分，统计经过切分后的短语修正频率；对该修正频率进行归一化处理，当修正频率收敛时，修正频率训练完毕；3‑3)短语切分：根据步骤2‑5)得出的短语质量值以及长度惩罚值和修正频率，应用动态规划算法获得每个短语的最优切分及切分位置；根据切分位置完成电子病历短语切分，得到切分后的短语及其质量值；4)先验短语集更新，设定切分结果中质量值大于0.9的短语为高质短语，将该高质短语加入先验短语集，完成高质短语抽取及先验短语集更新，用于在下次短语切分时，达到更好的切分效果。