[发明专利]基于实体识别技术的中医药语句分词方法

说明书

本发明公开了一种基于实体识别技术的中医药语句分词方法，包括步骤：采集中医药语句作为语料库；从语料库内提取出常用词组组成词库W；对词库W进行分类，根据分类结果对语料库每个序列的每个元素进行序列标注；采用Bert语言模型对语料库进行预训练并获得词向量；构建具有条件随机场的时间循环神经网络模型，基于标注数据集进行模型训练；向训练好的时间循环神经网络模型输入测试语句，得到实体列表；根据实体列表，对输入语句进行第一次切分，切分出实体列表中所含元素；基于前缀词典扫描剩余待切分句子，生成句子中汉字所有可能成词情况，构成有向无环图；对有向无环图进行动态规划查找最大概率路径，找出基于词频的最大切分组合。

技术领域

本发明涉及中医信息化技术领域，具体涉及一种基于实体识别技术的中医药语句分词方法。

背景技术

中医药是我国独具特色和优势的传统医学，积淀了数千年的理论知识和临床经验。为实现中医药现代化，需要以现代计算机技术对中医药文献资料中的主要信息进行提取整理，以便研究分析，促进中医药知识的利用转化及传播推广。

文本主要信息的提取整理，可以理解成一个中文分词问题。目前，研究人员已经相继发表了多种越来越成熟的中文分词算法。但在将这些分词算法应用到中医药领域时，其展示的效果却不尽人意。在经历了数千年的历史变迁后，汉语语法和表达方式都产生了巨大的差异。就中医症状而言，其语言特点多为文言文或半白半文，分词难度较大；同时，对于症状术语来说，尚未有统一的国家标准，加之症状描述本身形式灵活多变，这对识别症状的正确性、完整性提出了更高的要求。

而今，已有研究人员想要实现有关中医文本方面的分词，并且已经采取了一些措施，但大多采用的是基于概率统计的方法来实现。从实际效果来看，这些方法对于较短的中医症状术语的分词准确率确有提高，但是针对中医症状描述语句中较长的症状术语，其分词效果改善还是较为有限。

分词的关键在于信息的抽取，而在抽取的过程中，需要确认所要抽取信息的边界问题，这一操作十分类似于实体识别技术。现在，实体识别技术已经在自然语言处理任务中具有重要地位。但不同的命名实体具有不同的内部特征，不可能用一个统一的模型来刻画所有的实体内部特征，所以要使用特定的实体识别模型来识别中医药专业名词，更好的确定中医药术语的词边界，从而辅助中医药症状语句的分词任务。

基于此，研究如何利用实体识别技术对中医症状描述语句进行高效准确的切分具有重要意义。

发明内容

针对本领域存在的不足之处，本发明提供了一种基于实体识别技术的中医药语句分词方法，属于一种基于深度学习的自然语言处理技术的中文分词方法，提高了中医症状描述语句分词的准确率，并能够大大减少工作量。

一种基于实体识别技术的中医药语句分词方法，包括步骤：

(A)采集中医药语句，进行数据清洗后作为语料库；

(B)统计所述语料库内相邻汉字组合的出现频次，从大于一定阈值的词语组合中提取出常用词组，组成词库W；计算其余相邻汉字组合的正向条件概率和逆向条件概率，提取符合指定阈值的组合加入所述词库W；

(C)对所述词库W进行分类，根据分类结果，使用标签对所述语料库每个序列的每个元素进行序列标注；

(D)采用Bert语言模型对所述语料库进行预训练并获得词向量；

(E)构建具有条件随机场的时间循环神经网络(BiLSTM-CRF)模型，基于标注数据集进行模型训练；

(F)向训练好的时间循环神经网络模型输入测试语句，得到预测实体列表；

(G)根据所述预测实体列表，对输入的测试语句进行第一次切分，将所述预测实体列表中所含元素切分出来；

(H)基于前缀词典扫描剩余待切分句子，生成句子中汉字所有可能成词情况，构成有向无环图；