[发明专利]中文机器阅读理解方法、装置、电子设备及存储介质

说明书

本发明的中文机器阅读理解方法、装置、电子设备及存储介质，将问题及文本拼接形成输入文本，对输入文本中的句子分别进行分字处理和分词处理，得到输入文本对应的字符序列以及输入文本对应的分词序列；利用改进的BERT网络对字符序列进行字向量化处理，获取问题和文本基于字的第一特征向量；基于预设的外部知识库对分词序列进行词向量化处理，获取问题和文本基于词的第二特征向量；将第一特征向量和第二特征向量进行特征融合，得到融合特征向量；将融合特征向量输入至LSTM网络中，对答案在所述文本中的初始位置和终止位置进行预测；通过上述方式，丰富了输入文本的语义表征，有利于提高中文机器阅读理解的准确率。

【技术领域】

本发明涉及机器阅读理解技术领域，尤其涉及一种中文机器阅读理解方法、装置、电子设备及存储介质。

【背景技术】

机器阅读理解是自然语言处理领域中最具挑战性的任务之一,其主要目标是提高计算机对文本的阅读理解水平。近年来,随着预训练语言模型技术的问世,机器的阅读理解水平也在迅速提高，尤其是对英文文本的阅读理解水平已经超越了人类水平，但对中文文本的阅读理解水平还相对较低，存在很大的提升空间。

其中，斯坦福大学发布的SQuAD数据集将问题的标准答案设置为文本的一个片段，针对SQuAD数据集的机器阅读理解模型属于抽取式模型，这类模型。抽取式机器阅读理解模型根据给定的一个文本和针对该文本提出的一个问题，从该文本内中抽取一个片段作为所提问题的答案。

现有技术中，大多抽取式中文机器阅读理解算法都是基于先进的预训练模型BERT来实现和改进的，准确率相对于传统方法有了较大提升，但仍与人类水平存在一定的差距，还有很大的提升空间。

【发明内容】

本发明的目的在于提供一种中文机器阅读理解方法、装置、电子设备及存储介质，以解决现有技术中中文机器阅读理解准确性低的技术问题。

本发明的技术方案如下：提供一种中文机器阅读理解方法，包括：

将问题及文本拼接形成输入文本，对所述输入文本中的句子分别进行分字处理和分词处理，得到所述输入文本对应的字符序列以及所述输入文本对应的分词序列；

利用改进的BERT网络对所述字符序列进行字向量化处理，获取所述问题和所述文本基于字的第一特征向量，其中，所述改进的BERT网络用于对所述字符序列进行语义提取，所述改进的BERT网络包括具有残差连接的Transformer编码器；

基于预设的外部知识库对所述分词序列进行词向量化处理，获取所述问题和所述文本基于词的第二特征向量；

将所述第一特征向量和所述第二特征向量进行特征融合，得到融合特征向量；

将所述融合特征向量输入至LSTM网络中，对答案在所述文本中的初始位置和终止位置进行预测。

可选地，所述对所述输入文本中的句子分别进行分字处理和分词处理，得到所述输入文本对应的字符序列以及所述输入文本对应的分词序列，包括：

对所述输入文本进行去停用词以及去特殊符号处理，得到处理后的输入文本；

利用预训练模型BERT对所述处理后的输入文本进行字符级别的编码，得到所述字符序列；

利用深度学习分词器对所述处理后的输入文本进行词语级别的编码，得到所述分词序列。

可选地，所述基于预设的外部知识库对所述分词序列进行词向量化处理，获取所述问题和所述文本基于词的第二特征向量，包括：

从预设的外部知识库中获取所述分词序列中每个分词的义原向量，得到所述分词序列的语义表示序列；

利用word2vec模型获取所述分词序列中每个分词的词向量，得到输入文本的词向量集合；