[发明专利]文本表示模型的训练方法、文本表示方法及相关设备

说明书

本申请公开了一种文本表示模型的训练方法、文本表示方法、电子设备及计算机可读存储介质。该训练方法包括：获取训练集，训练集包括多个文本组，每个文本组包括一个锚样本、多个负样本和多个正样本；针对各个文本组，利用文本表示模型获取文本组中锚样本的表示、各个负样本的表示和各个正样本的表示；基于锚样本的表示与同一文本组中各个负样本的表示之间的相似度，以及锚样本的表示与同一文本组中各个正样本的表示之间的相似度，获得文本表示模型关于锚样本的损失；基于文本表示模型关于各个锚样本的损失，调整文本表示模型的参数。通过上述方式，能够提高对文本表示模型的训练效果。

技术领域

本申请涉及自然语言处理技术领域，特别是涉及一种文本表示模型的训练方法、文本表示方法、电子设备及计算机可读存储介质。

背景技术

文本的表示可以表达文本的语义，在文本分析的诸多领域需要用到文本的表示。例如文本比对需要借助文本的表示来衡量文本之间的相似度，文本概括需要借助文本的表示从文本中提取出关键信息。相应地，文本的表示可以用于文本分析的各种应用场景，例如新闻推荐、事件脉络生成、对话系统等诸多应用场景。

一般地，文本的表示获取的流程为，将文本输入基于深度学习的文本表示模型，文本表示模型依据在训练过程学习到的信息对文本处理得到文本的表示。然后，现有技术中，对文本表示模型的训练效果不够好，影响应用阶段文本表示模型对文本的表示的提取能力。

发明内容

本申请提供一种文本表示模型的训练方法、文本表示方法、电子设备及计算机可读存储介质，能够提升对文本表示模型的训练效果。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种文本表示模型的训练方法。该训练方法包括：获取训练集，训练集包括多个文本组，每个文本组包括一个锚样本、多个负样本和多个正样本；针对各个文本组，利用文本表示模型获取文本组中锚样本的表示、各个负样本的表示和各个正样本的表示；基于锚样本的表示与同一文本组中各个负样本的表示之间的相似度，以及锚样本的表示与同一文本组中各个正样本的表示之间的相似度，获得文本表示模型关于锚样本的损失；基于文本表示模型关于各个锚样本的损失，调整文本表示模型的参数。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种文本表示方法。该方法包括：获取目标文本；利用文本表示模型对目标文本进行处理，得到目标文本的表示；其中，文本表示模型是前述训练方法训练得到的。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。

通过上述方式，本申请为锚样本设置多个负样本和多个正样本，在训练过程中依据锚样本的表示与各个负样本的表示之间的相似度、以及锚样本的表示与各个正样本的表示之间的相似度计算文本表示模型关于锚样本的损失，基于各个锚样本的损失调整文本表示模型的参数。相较于仅为锚样本设置一个负样本和一个正样本对文本表示模型训练的方式，本申请由于考虑了锚样本的多个正样本、多个负样本，拓宽了文本表示模型的学习范围，避免局部优化的情况，因此能够提高对文本表示模型的训练效果，提高后续在应用阶段文本表示模型对目标文本的表示的提取能力。

另外，本申请通过锚样本与负样本、锚样本与正样本进行对比学习的训练方式，无需人工标注数据，或者仅需人工标注少量数据，即可实现对文本表示模型的训练，能够降低训练所需的人工成本。

附图说明

图1是本申请文本表示模型的训练方法一实施例的流程示意图；

图2是本申请文本组中正样本的表示的获取示意图；

图3是本申请文本表示模型的训练方法另一实施例的流程示意图；