[发明专利]一种基于可随机访问的点互信息的词表示学习方法

说明书

一种基于可随机访问的点互信息的词表示学习方法，涉及自然语言处理。A.准备大规模无标注文本语料库；B.扫描所述语料库并统计词对得到词共现矩阵；C.用基于GloVe模型的大规模矩阵随机访问方法实现对词共现矩阵的随机访问，得到该矩阵的元素的近似值；D.用随机访问得到的词共现矩阵的元素的近似值计算点互信息；E.基于点互信息计算注意力权重，将注意力权重应用于Skip‑gram或GloVe模型词表示学习得到目标词表示。提出点互信息注意力权重算子，提出适合Skip‑gram和GloVe模型的注意力机制，针对计算点互信息时使用的共现矩阵过大无法完整载入内存，提出随机访问方法。获得更高质量的词表示。

技术领域

本发明涉及自然语言处理，具体是涉及一种基于可随机访问的点互信息的词表示学习方法。

背景技术

词表示在基于深度学习的自然语言处理系统中是极其重要的，因为各项自然语言处理任务，比如问答系统、机器翻译、文本摘要、情感分类、命名实体识别等，都需要将词表示作为输入，词表示的质量高低将直接影响到这些任务的结果。为了探寻单词之间的内在关系，Harris(Harris Z S.Distributional structure[J].Word,1954,10(2-3):146-162.)首次提出分布式假说(Distributional Hypothesis)，该假说认为，具有相似上下文的词，语义也是相似的。Firth(Firth J R.A synopsis oflinguistic theory,1930-1955[J].Studies in Linguistic Analysis,1957.)进一步地对Harris的分布式假说进行阐述与相关说明，认为单词的语义信息是由其上下文决定的。在此之后，Hinton(Hinton GE.Learning distributed representations ofconcepts[C]//Proceedings of theEighth Annual Conference of the Cognitive Science Society.1986,],1:12.)提出分布式表示(Distributed Representation)的想法，把词汇表中的所有单词映射到一个连续、低维的向量空间，也就是所说的词表示。

现有的词表示方法通常使用固定大小的滑动窗口来遍历语料库，选取窗口内除中心词以外的所有单词作为上下文，且将上下文中的各个单词同等对待。这一策略存在着以下不足：