[发明专利]针对自然语言的语义处理

说明书

在本公开的实施例中，提出了一种针对自然语言的语义处理的方法和设备。在获得包括多个项目的项目集之后，确定每个项目在一组语义维度上的一个量化表示和在另一组维度上的另一量化表示，然后使用这两组维度上的量化表示来生成每个项目的语义值。根据本公开的实施例，语义值能够用于确定项目集中的不同项目之间的语义相关性，并且每个量化表示可以由项目集中的多个项目共享。因此，通过使得多个项目共享同一量化表示，本公开在针对自然语言的语义处理过程中，不仅能够有效减小语义模型的大小，而且能够显著提高语义处理的速度。

背景技术

自然语言处理是指利用计算机处理人类语言的技术，它使得计算机能够理解人类语言。计算机通过人工标注或未标注的语料库进行训练，生成自然语言的语义表示。自然语言处理是机器学习领域的一个重要方向，其可以应用于语义分析、信息检索、机器翻译、语言建模以及聊天机器人等。

循环神经网络(Recurrent Neural Networks，RNN)是一种节点定向连接成环的神经网络，其内部状态可以表示为动态时序数据。与一般的非循环神经网络不同，RNN可以利用其内部的记忆来处理任意时序的输入序列。RNN会对前面的信息进行记忆并应用于当前输出的计算中，即神经网络中的隐层之间的节点是有连接的，并且隐层的输入不仅包括输入层的输出还包括上一时刻隐层的输出。因此，RNN适于用于预测下一时刻的词语或文本的应用，如文本生成、机器翻译、语音识别以及图像描述等。然而，目前的RNN语义处理过程需要占用大量存储器空间并且处理速度缓慢。

发明内容

发明人注意到，从网络中能够获得大量语料库数据，这些数据是很容易收集的。基于大量语料库数据所训练出的语义模型能够覆盖绝大多数语义场景，因而能够有效地应用到实际自然语言处理应用中。基于这一认识，不同于使用一组多维向量来表示每个项目(例如词语)的语义值的传统方法，本公开的实施例使用两组或两组以上的多维向量来表示项目的语义值。借助于这两组或两组以上的多维向量，语义模型的模型大小和处理速度能够被优化，这在工作原理和机制上都显著不同于任何已知方案。

例如，根据本公开的实施例，可以获得包括多个项目的项目集。然后，使用两个以上的子向量来一起表示每个项目的语义向量，其中语义向量能够用于确定项目集中的不同项目之间的语义相关性，并且每个子向量能够分别由项目集中的多个项目共享。因此，通过使得多个项目共享同一子向量，本公开的实施例在针对自然语言的语义处理过程中，不仅能够有效减小语义模型的大小，而且能够显著提高语义处理的速度。

提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：

图1示出了其中可以实施本公开的一个或多个实施例的计算系统/服务器的框图；

图2示出了根据本公开的实施例的用于生成语义值的方法的流程图；

图3A和3B示出了根据本公开的实施例的针对项目集的表的示例图；

图4示出了根据本公开的实施例的用于将多个项目分配在表中的方法的流程图；

图5示出了根据本公开的实施例的针对项目集的表中的一些行的示例图；

图6示出了根据本公开的实施例的用于确定相关联的项目的方法的流程图；以及

图7示出了根据本公开的实施例的基于RNN的语义模型的预测过程的示例图。

在所有附图中，相同或相似参考数字表示相同或相似元素。

具体实施方式