[发明专利]基于中医古籍文献的中医命名实体识别方法及识别系统

说明书

本发明提供了一种基于中医古籍文献的中医命名实体识别方法及系统，用以解决中医命名实体的识别问题。所述方法在获取中医古籍文献语料的基础上进行数据清理，再进行语言模型预训练；通过对语料进行序列标注，形成后续模型的训练集；基于序列标注的模型训练集，将语言模型作为编码层，将神经网络结构作为解码层，训练序列标注模型，从而基于序列标注模型进行中医命名实体识别。本发明结合现有的语言训练模型，如Google提出的语言模型预训练方法bert，基于小样本训练集节省了人工标注的成本，提高了识别效果及准确率，易操作，实现对中医古籍文献，尤其是中医古籍医案的有效和全面利用，为中医领域研究打下了良好的基础。

技术领域

本发明属于信息处理与中医文献领域，具体涉及一种基于中医古籍文献的中医命名实体识别方法及识别系统。

背景技术

传统中医学博大精深，中医的传播一方面通过老一辈医疗工作者的直接经验传递，另一方面是文献。在中医文献中，保存了大量的中医古籍医案，其中包含了众多的名老中医经验和诊疗方法。这里提到的中医古籍医案就是指古代中医治疗疾病时对病人有关的症状、病因、方剂、用药等做的连续记录。其中，中医命名实体就是指中医古籍医案中对病人疾病进行阐述重现的症状、方剂、用药等信息实体。为了更好的利用包括中医古籍医案在内的中医文献，中医命名实体识别是中医领域相关研究的重要前提。

当前命名实体识别在一些常见的实体类型(如人名、地名、机构名等)上的研究已经获得了很好的结果，基本都接近了人工标注水平。然而，中医古籍文献与其他文献在用词和语法上都有很大的不同，具有自己的特色，现有技术中的命名实体识别方法应用到中医古籍医案上，无法得到理想的效果。同时中医古籍医案中存在很多比较棘手的文法现象，导致人工标注也变得困难与昂贵，进一步加大了中医命名实体识别的难度。

发明内容

本发明要解决的技术问题针对现有技术中尚无有效的中医命名实体的识别方法，提供一种基于中医古籍文献的中医命名实体识别方法及识别系统，结合现有的语言训练模型，如Google提出的语言模型预训练方法bert，得到面向中医古籍文献的命名实体识别方法，实现对中医古籍文献，尤其是中医古籍医案的有效利用。

为解决上述技术问题，本发明实施例提供一种基于中医古籍文献的中医命名实体识别方法，所述方法包括如下步骤：

步骤S1，获取中医古籍医案语料；

步骤S2，对步骤S1获取的所述待处理的中医古籍医案语料进行数据清理；

步骤S3，基于步骤S2得到的中医古籍医案语料，进行面向中医古籍医案语料的语言模型预训练；

步骤S4，基于步骤S2所获得的清理后的中医古籍医案语料，对所述语料进行序列标注，形成后续模型的训练集；

步骤S5，基于步骤S4得到的序列标注的模型训练集，将步骤S3的语言模型作为编码层，将预设的神经网络结构作为解码层，训练相应的序列标注模型；

步骤S6，基于步骤S5训练得到的序列标注模型，对中医古籍医案进行实体识别。

上述方案中，所述步骤S1获取中医古籍医案语料，具体包括以下步骤：

步骤S11，利用光学字符识别对已有的纸质版中医古籍医案书籍进行扫描识别，形成电子文本语料；

步骤S12，利用开源网络爬虫从网络上抓取没有纸质版书籍的中医古籍医案语料；

步骤S13，将步骤S11和步骤S12获取到的语料文本进行对比、合并，最终形成统一的待处理的中医古籍医案语料。

上述方案中，所述步骤S2对待处理的中医古籍医案语料进行数据清理，具体包括以下步骤：

步骤S21，校正错别字；

步骤S22，过滤无关语句。