[发明专利]语言生成模型的评价方法、装置、电子设备及存储介质

说明书

本申请提供了一种语言生成模型的评价方法、装置、电子设备及存储介质，该方法包括：通过第一模型输出多个语言生成模型的模型比较结果，据此从多个语言生成模型中选择出两个语言生成模型；获取目标测试文本，分别通过两个语言生成模型得到与目标测试文本对应的两个待测文本；将目标测试文本和两个待测文本拼接为输入数据并输入第二模型，根据输出结果得到模型评价结果；根据模型评价结果对第一模型进行更新；根据更新后第一模型输出的模型比较结果，对多个语言生成模型进行评价。该方法通过第一模型对多个语言生成模型进行比较，通过第二模型评价第一模型的比较结果，从而不断更新第一模型以提高准确性，得到更可靠的自然语言生成模型评价结果。

技术领域

本申请涉及自然语言处理领域，特别涉及一种语言生成模型的评价方法、装置、电子设备及存储介质。

背景技术

自然语言生成(Natural Language Generation，NLG)技术，是指利用人工智能和语言学的方法自动生成可理解的自然语言文本。随着将超大规模数据作为样本进行大型语言模型的训练，自然语言生成技术有了飞速的发展，被应用于文案生成、诗词生成等领域。早期自然语言生成更倾向自动化的评价指标，这种指标易于计算但并不可靠。因此在现实应用场景下，多采用更为可靠的人工评估方式来进行自然语言生成技术评估，然而这种方式也存在高成本、存在注释者偏差、高方差和序列效应(当前评价受前面项目的影响)等问题。为解决这类问题，在相关技术中多采用对比方式来评价多个不同的自然语言生成模型，但需要对待评价的目标文本进行大量人工标注，依然存在人工成本较高和可靠性较低的问题。

发明内容

本申请提供一种语言生成模型的评价方法、装置、电子设备及存储介质，本申请实现了通过第一模型对多个语言生成模型进行比较，通过第二模型评价第一模型的比较结果，从而不断更新第一模型以提高准确性，得到更可靠的自然语言生成模型评价结果。。

第一方面，本申请提供了一种语言生成模型的评价方法，包括以下步骤：

通过第一模型输出待评价的多个语言生成模型中任意两个语言生成模型之间的模型比较结果，得到多个模型比较结果，并根据多个模型比较结果从多个语言生成模型中选择出第一语言生成模型以及第二语言生成模型，其中，模型比较结果用于表征任意两个语言生成模型的文本生成准确度之间的比较结果；

获取目标测试文本，并通过第一语言生成模型得到与目标测试文本相对应的第一待测文本，以及通过第二语言生成模型得到与目标测试文本相对应的第二待测文本；

将目标测试文本、第一待测文本以及第二待测文本拼接为输入数据，将输入数据输入第二模型，根据第二模型的输出结果得到本次评价过程中针对第一语言生成模型以及第二语言生成模型的模型评价结果，模型评价结果用于表征第一语言生成模型生成的第一待测文本和第二语言生成模型生成的第二待测文本之间的准确度比较结果；

根据模型评价结果对第一模型进行更新；

根据更新后的第一模型输出的与多个语言生成模型相对应的模型比较结果，对多个语言生成模型进行评价。

第二方面，本申请提供了一种语言生成模型的评价装置，包括：

选择模块，用于通过第一模型输出待评价的多个语言生成模型中任意两个语言生成模型之间的模型比较结果，得到多个模型比较结果，并根据多个模型比较结果从多个语言生成模型中选择出第一语言生成模型以及第二语言生成模型，其中，模型比较结果用于表征任意两个语言生成模型的文本生成准确度之间的比较结果；

获取模块，用于获取目标测试文本，并通过第一语言生成模型得到与目标测试文本相对应的第一待测文本，以及通过第二语言生成模型得到与目标测试文本相对应的第二待测文本；