[发明专利]一种基于自注意力网络的搜索结果多样化方法

说明书

本发明通过人工智能领域的方法，实现了一种基于自注意力网络的搜索结果多样化方法，采用重排序模型，通过将模型设置编码器和解码器构成的编码器‑解码器结构以及排序学习函数，经过训练步骤后，针对输入的查询和子话题进行运算，最终生成经过多样化重排序的文档序列。通过上述步骤，建立了一个基于自注意力网络的模型结构，捕获候选文档间的全局交互信息；编码器‑解码器结构同时捕获文档本身相对于其他文档的新颖性，以及文档对不同子话题的覆盖程度，并综合考量文档的相关性特征以获得最终的多样化排序评分，并克服现有选择算法难以获得全局最优解的局限性的问题。

技术领域

本发明涉及人工智能领域，尤其涉及一种基于自注意力网络的搜索结果多样化方法。

背景技术

相关统计数据证明用户在使用搜索引擎时倾向于提交短查询，为了解决短查询所带来的歧义性问题，搜索引擎需要对搜索结果进行多样化排序。对于给定的查询和初始排序文档序列，一个多样化模型应当对文档序列进行多样化重排序，使得重排序之后排在前面位置的文档能够尽可能多地覆盖不同的用户意图。目前主流的多样化排序方法，按照如何衡量文档的多样性，可以分为隐式多样化方法和显式多样化方法：隐式多样化方法按照候选文档相对于已选中的文档是否具有新颖性，即是否与已选中的文档尽可能不相似来判定文档是否具有多样性，显式多样化方法则显式地衡量文档对不同的用户意图(通常用子话题表示)的覆盖程度，一个具有多样性的文档应该覆盖了此前已选中文档序列没有覆盖的用户意图。而按照如何拟定多样化排序函数，则可以分为启发式(非监督式)和学习式(监督式)方法，启发式方法依赖于人工提取的多样化特征与排序函数，而学习式方法则利用机器学习模型，通过训练数据自发地学习到最优化的排序函数与特征。

目前已有的显式与隐式方法都采用贪心文档选择的策略，即每一次都根据当前已选中的文档序列，计算所有候选文档的多样性得分，从中选择当前最佳的候选文档，然后将其附加到当前已选中的文档序列的末尾。由于多样化排序本质上是一个子空间搜索问题，该问题属于NP-难解问题，使用贪心选择的算法策略可以在较短地时间内完成计算，对线上排序任务有良好的适应性。

理论上贪心选择算法每一次选择都会导向当前的局部最优解，而通过一系列局部最优解导向全局最优解的条件是贪心选择过程满足无后效性，即每一个候选文档的选取给已选文档序列带来的新增信息收益应当是彼此相互独立的。但相关研究已经证明，候选文档之间彼此并非相互独立，当一个候选文档被选中之后，其他候选文档的新增信息收益也将随之发生改变。因此，贪心选择算法从理论上即无法获得全局最优的多样化排序。此外，已有的方法通常只考虑单一的隐式或显式多样化特征，而两者并非可以互相取代的关系，综合衡量文档的新颖性和子话题收益通常可以获得更佳的多样化效果。

发明内容

为此，本发明提出了一种基于自注意力网络的搜索结果多样化方法，设计基于自注意力网络的搜索结果多样化框架，所述框架采用重排序模型，经过训练后，针对输入的查询和子话题，所述框架接受一个纯相关性的初始排序作为输入，所属框架的输入包括文档序列的分布式向量表征、给定查询对应子话题的分布式向量表征，以及文档针对给定查询和子话题的相关性特征，所述相关性特征由传统信息检索模型生成，为一系列常用的传统信息检索相关性特征，分布式向量表征由一系列静态文档表征工具生成；

所述框架的运算结构包括两个部分：编码器-解码器结构和排序学习函数，所述编码器-解码器结构由编码器和解码器构成，输入文档序列的向量表征和子话题的向量表征，返回每一个文档的编码器生成表示向量和解码器生成表示向量，所述编码器生成表示向量和解码器生成表示向量作为所述文档的多样性特征，分别表征所述文档相对于其他文档的新颖性和所述文档对不同子话题的覆盖程度，同时通过所述文档对子话题的相关性参数生成文档相对于子话题的覆盖得分，之后，将所述编码器生成表示向量、所述解码器生成表示向量、所述文档相对查询的相关性特征的参数、所述文档相对于子话题的覆盖得分首尾相连生成文档的全体特征向量，将所述全体特征向量输入线性排序学习函数，返回针对每一个文档给出的多样化排序评分，进而按照该评分对文档进行排序，生成经过多样化重排序的文档序列。