[发明专利]异常标点清洗方法、存储介质及服务器

说明书

本发明公开了一种针对医疗语料的异常标点清洗方法、存储介质及服务器，通过从医疗语料库中进行句子抽取，抽取出不包括任何标点和空格类字符的语句；对抽取出的语句进行泛化处理；基于抽取出的语句中的词频特征，对抽取出的语句进行聚类；针对聚类后得到的每一个句子类别，进行信息统计，找出异常标点，并对找出的异常标点进行自动清洗；达到了挖掘出医疗语料中的异常标点并对存在异常的标点进行自动清洗的目的，提高了医疗语料中标点的清洗效率。

技术领域

本发明涉及医疗文本数据处理技术领域，特别涉及一种针对医疗语料的异常标点清洗方法、存储介质及服务器。

背景技术

虽然医疗语料是一种专业性很强的语料，但在医疗语料中仍然存在大量的标点异常；也就是说，在医疗文本中，当文本内容的上下文一致的情况下，会存在大量的标点不一致。而针对医疗语料这种文本，由于标点符号在整个文本序列中的占比较低(粗略统计大概只有20％左右)，且本来样本就少，若质量还不高，则会给后续的数据处理带来很大干扰。因此，如何找出并清除上述不一致的标点，则成为目前亟待解决的问题之一。

发明内容

本发明提供一种针对医疗语料的异常标点清洗方法、存储介质及服务器，旨在挖掘出医疗语料中的异常标点并对存在异常的标点进行自动清洗。

本发明提供了一种针对医疗语料的异常标点清洗方法，所述异常标点清洗方法包括：

从医疗语料库中进行句子抽取，抽取出不包括任何标点和空格类字符的语句；

对抽取出的语句进行泛化处理；

基于抽取出的语句中的词频特征，对抽取出的语句进行聚类；

针对聚类后得到的每一个句子类别，进行信息统计，找出异常标点，并对找出的异常标点进行自动清洗。

优选地，所述基于抽取出的语句中的词频特征，对抽取出的语句进行聚类，包括：

根据抽取出的语句中的词频和逆向文件频率，采用基于距离的聚类算法，对抽取出的语句进行聚类。

优选地，所述采用基于距离的聚类算法，对抽取出的语句进行聚类，包括：

采用距离作为相似性的评价指标，利用误差平方和准则函数作为聚类准则函数，对抽取出的语句进行聚类。

优选地，所述针对聚类后得到的每一个句子类别，进行信息统计，找出异常标点，包括：

针对聚类后得到的每一个句子类别，统计在当前句子类别A的位置之前出现频率最高的句子类别B，并统计在句子类别A和句子类别B之间出现频率最高的标点符号P1，以及在句子类别A和句子类别B之间出现次数低于预设阈值的分隔符W1；

统计在当前句子类别A的位置之后出现频率最高的句子类别C，并统计在句子类别A和句子类别C之间出现频率最高的标点符号P2，以及在句子类别A和句子类别C之间出现次数低于预设阈值的分隔符W2；

将在句子类别A和句子类别B之间出现次数低于预设阈值的分隔符W1，以及在句子类别A和句子类别C之间出现次数低于预设阈值的分隔符W2，均视为异常标点；

其中，所述分隔符W1和分隔符W2包括一个或者多个标点符号。

优选地，所述对找出的异常标点进行自动清洗，包括：

将句子类别A和句子类别B之间的异常标点W1替换为出现频率最高的标点符号P1，将句子类别A和句子类别C之间的异常标点W2替换为出现频率最高的标点符号P2。

对应于以上所提供的一种针对医疗语料的异常标点清洗方法，本发明还提供了一种存储介质，所述存储介质存储有多条指令，其特征在于，所述指令适用于由处理器加载并执行以上实施例所提供的异常标点清洗方法；其中，所述异常标点清洗方法包括：