[发明专利]一种中医文献内容分析方法和装置

权利要求书

1.一种中医文献内容分析方法，其步骤包括：

对获取的文言文本进行预处理，得到无监督预训练数据；然后利用所述无监督预训练数据对所选大规模语言模型Bert进行预训练；

将上述预训练后的大规模语言模型Bert与条件随机场模型结合得到序列标注模型；

用标注的中医文献内容分析数据对得到的序列标注模型进行训练，调整序列标注模型的参数；

对于一篇待分析中医文献，将所述中医文献的每个段落切分成子句；

将所述中医文献以段落为单位输入所述序列标注模型，得到段落中每个字的编码，然后通过编码向量平均的方式得到各段落中一组子句的编码序列，根据该组子句的编码序列生成该组子句所属标签的概率分布序列；

将子句的概率分布序列输入所述序列标注模型的条件随机场模型，得到所述子句的序列标注为不同标签序列的概率；选择最大概率的标签序列作为预测结果，合并相邻同标签子句，连接所述中医文献各个段落，得到所述中医文献的内容分析结果。

2.根据权利要求1所述的方法，其特征在于，对获取的文言文本进行预处理，得到无监督预训练数据的方法为：

断句预测：去掉待处理文言文本中的标点符号，将剩下的文本连接起来；对于在所述待处理文言文本中后面出现标点的字符标签设置为1，其余设置为0；

标点预测：将所述待处理文言文本中所有标点替换为设定符号“[MASK]”；

专名预测：识别所述待处理文言文本中的设定专有名词，将所述专有名词的第一个字标注为“B-[专有名词类型]”，专有名词中其余字标注为“I-[专有名词类型]”，剩下的字标注为“O”；

字词填空：挖掉所述待处理文言文本中的若干个连续字，用于预测所挖掉的信息。

3.根据权利要求1所述的方法，其特征在于，将所述中医文献中每个段落切分成一组有序的子句A＝{a₁,a₂,……,a_m-1,a_m}并输入所述序列标注模型；其中，m为输入的段落中包含的子句数目。

4.根据权利要求1或2或3所述的方法，其特征在于，得到每个子句所属标签的方法为：将所述子句输入所述序列标注模型中的预训练后的大规模语言模型Bert，得到所述子句中每个字的向量编码；将所述子句对应的所有字的编码向量取平均之后，得到所述子句的编码向量，将所述编码向量经过全连接层映射到n维，n为属性标签数目；将得到的n维向量归一化，得到所述子句所属标签的概率分布；然后通过条件随机场，以标签序列概率最大化为原则，预测子句序列所对应的标签序列。

5.根据权利要求1所述的方法，其特征在于，利用交叉熵损失和反向梯度传播，对大规模语言模型的参数进行预训练；使用已标注的中医序列标注语料，采用最大似然损失函数，利用反向梯度传播，对所述序列标注模型进行训练调优。

6.一种中医文献内容分析装置，其特征在于，包括数据预处理单元、模型训练单元、序列标注模型；其中，

所述数据预处理单元，用于对获取的文言文本进行预处理，得到无监督预训练数据；

所述模型训练单元，用于利用所述无监督预训练数据对所选大规模语言模型Bert进行预训练，得到预训练后的大规模语言模型Bert；

所述序列标注模型包括预训练后的大规模语言模型Bert与条件随机场模型，用于将待处理中医文献以段落为单位输入预训练后的大规模语言模型Bert，得到段落中每个字的编码，然后通过编码向量平均的方式得到各段落中一组子句的编码序列，根据该组子句的编码序列生成该组子句所属标签的概率分布序列并输入所述条件随机场模型，得到所述子句的序列标注为不同标签序列的概率；然后选择最大概率的标签序列作为预测结果，合并相邻同标签子句，连接所述中医文献各个段落，得到所述中医文献的内容分析结果。