[发明专利]一种可解释的深度学习方法、可解释深度学习装置、计算机和介质

说明书

本专利涉及一种可解释的深度学习方法,包括如下步骤：步骤1，获得自然语言语料；步骤2，将所述自然语言语料进行词嵌入，使得标记指定单个词语的语义信息并且每个所述指定单个词语的上下文作为外界环境来反映所述指定单个词语的语义信息，同时用量子概率反映每个词嵌入的语义置信度；步骤3，形成编码层；步骤4，根据输入利用所述编码层解码出包含有解释信息的输出信息。还涉及可解释深度学习装置、计算机和介质。

技术领域

本专利涉及深度学习，特别涉及一种可解释的深度学习方法，还涉及可解释深度学习装置、计算机和介质。

背景技术

词向量(又叫词嵌入)是一种表示自然语言中单词的方法，把每个词都表示为一个N维空间内的点，即一个高维空间内的向量。通过这种做法，把自然语言计算转换为向量计算，词向量已经成为自然语言处理领域各种任务的必备一步，而且随着BERT，ELMO，GPT等预训练模型的发展，词向量演变为知识表示方法，但其本质思想不变。深度学习模型在医学场景下扮演着越来越重要的角色，模型的「可解释性」成为了决定用户是否能够「信任」这些模型的关键因素。尤其是当我们需要模型为关系到人类生命健康等重要任务给出预测和决策结果时。本项发明将从可解释的角度出发，提供一套应用于医学场景的可解释的词向量技术。

word2vec是经典的词向量技术。word2vec来源于2013年的论文“EfficientEstimation of Word Representation in Vector Space”，它的核心思想是利用神经网络对词的上下文训练得到词的向量化表示，训练方法：CBOW(通过附近词预测中心词)和Skip-gram(通过中心词预测附近的词)。一种重要的语言学思想是Firth在1957年提出的，一个词语的语义应该由它的上下文来表示。在word2vec出现之前，一种简单的对词的表示是One-hot向量表示，即一个位置是1，其余位置都是0，这种表示方法的最大缺点在于没办法表示出词语之间的相似性。2013年，在Tomas Mikolov的论文中，首次提出了CBOW和Skip-gram模型，并且介绍了几种优化训练的方法，其中包括Hierarchical Softmax(在2003年，Bengio在他提出NNLM论文中的Future Work部分提到了这种方法，并将其系统化发表于2005年),Negative Sampling和Sub Sampling技术。准确说来，word2vec并不是一个模型或算法，只不过Mikolov恰好在当时把他开源的工具包起名叫做word2vec.

Glove，FastText等是根据word2vec改进的技术。Glove首先根据语料库构建一个co-ocurrence matrix共现矩阵，其中每一个元素代表单词和上下文词在特定的上下文窗口内共同出现的次数，并且Glove还提出了一个decreasing weighting，基于两个词在上下文窗口中的距离d，给出一个权重1/d，也就是说距离远的两个词，占总计数的权重小；构建了词向量和共现矩阵之间的近似关系。FastText简单来说就是将句子中的每个词先通过一个lookup层映射成词向量，然后对词向量取平均作为真个句子的句子向量，然后直接用线性分类器进行分类，从而实现文本分类，不同于其他的文本分类方法的地方在于，这个FastText完全是线性的，没有非线性隐藏层，得到的结果和有非线性层的网络差不多，这说明对句子结构比较简单的文本分类任务来说，线性的网络结构完全可以胜任，而线性结构相比于非线性结构的优势在于结构简单，训练的更快。

DeepWalk是第一个基于表示学习的图嵌入方法，它遵循表示学习的思想和词嵌入的成功，在生成的随机游走上应用了Skip-gram模型。DeepWalk将embedding从item序列推行至图序列，它是一种用于学习网络中顶点的潜在表示的新方法。这些潜在表示将社会关系编码到延续的向量空间中，编码到向量空间后的社会关系，很容易运用到统计模型中。DeepWalk将随机游走得到的节点序列当做句子，从截断的随机游走序列中得到网络的部分信息，再经过部分信息来学习节点的潜在表示。