[发明专利]语义特征的生成方法、模型训练方法、装置、设备及介质

说明书

本公开公开了一种语义特征的生成方法、模型训练方法、装置、设备及介质，涉及机器学习与自然语言处理等人工智能技术领域。具体实现方案为：对目标文档进行片段切分，得到目标文档的片段序列；采用预先训练的双向语义编码模型，生成目标文档的片段序列中各文档片段的语义特征；基于目标文档的片段序列中各文档片段的语义特征，获取目标文档的语义特征。本公开还公开了双向语义编码模型的训练方法。本公开的技术，通过采用预先训练的双向语义编码模型，能够有效地提高目标文档中各文档片段的语义特征的准确性，进而能够有效地提高目标文档的语义特征的表达准确性。而且本公开还能够有效地提高双向语义编码模型对语义特征表示的准确性。

技术领域

本公开涉及计算机技术领域，具体涉及机器学习与自然语言处理等人工智能技术领域，尤其涉及一种语义特征的生成方法、模型训练方法、装置、设备及介质。

背景技术

语义检索是搜索引擎中的一个核心技术，即给定用户输入的搜索词如Query,如何快速地从文档(Document)库中检索出与该Query语义最相关的候选Document。

现有技术中，可以对用户的Query和Document库中的各Document分别计算语义表示。然后可以采用近似最近邻检索(Approximate Nearest Neighbor；ANN)技术，基于Query的语义表示和Document库中的各Document的语义表示进行语义检索，得到Top K个最相关的候选Document。其中的Document的语义表示可以取该Document的一个重要域或多个重要域的表示，例如可以取Document的主题(Title)、摘要等的语义表示作为该Document的语义表示。

发明内容

本公开提供了一种语义特征的生成方法、模型训练方法、装置、设备及介质。

根据本公开的一方面，提供了一种语义特征的生成方法，其中，所述方法包括：

对目标文档进行片段切分，得到目标文档的片段序列；

采用预先训练的双向语义编码模型，生成所述目标文档的片段序列中各文档片段的语义特征；

基于所述目标文档的片段序列中各所述文档片段的语义特征，获取所述目标文档的语义特征。

根据本公开的另一方面，提供了一种双向语义编码模型的训练方法，其中，所述方法包括：

采集训练数据集；

基于采集的所述训练数据集，对包括左编码模块和右编码模块的双向语义编码模型进行训练。

根据本公开的再一方面，提供了一种语义特征的生成装置，其中，所述装置包括：

切分模块，用于对目标文档进行片段切分，得到目标文档的片段序列；

生成模块，用于采用预先训练的双向语义编码模型，生成所述目标文档的片段序列中各文档片段的语义特征；

获取模块，用于基于所述目标文档的片段序列中各所述文档片段的语义特征，获取所述目标文档的语义特征。

根据本公开的又一方面，提供了一种双向语义编码模型的训练装置，其中，所述装置包括：

采集模块，用于采集训练数据集；

训练模块，用于基于采集的所述训练数据集，对包括左编码模块和右编码模块的双向语义编码模型进行训练。

根据本公开的再另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，