[发明专利]业务问答数据处理方法、装置、计算机设备、存储介质

说明书

本发明涉及自然语言处理技术领域，公开了一种业务问答数据处理方法、装置、计算机设备和存储介质，包括获取业务问答数据；利用业务主题识别模型识别用户作答数据的主题类别信息；将业务问答数据和主题类别信息输入打分预测模型，得到业务问题数据的打分结果，打分预测模型基于第二标注数据和第三标注数据训练得到，第二标注数据为不包含标准答案数据的样本数据，第三标注数据为包含标准答案数据的样本数据。上述业务问答数据处理方法通过引入主题体系对数据进行分场景标注，优化了训练数据和模型结构。在进行模型训练时，既考虑了不参考标准答案的打分情况，又考虑了参考标准答案的打分情况，平衡标准答案在打分中起到的作用，降低打分偏差。

技术领域

本发明涉及自然语言处理技术领域，特别是涉及一种业务问答数据处理方法、装置、计算机设备和存储介质。

背景技术

目前，现有的技术方案主要分为两种，一种是基于业务规则，一种是基于机器学习。基于规则主要是业务专家根据自己的业务经验制定一系列打分规则，用户作答命中这些规则即可得到相应的打分。基于机器学习主要是基于用户作答和问题或者标准答案的相似度或者匹配度来进行一系列计算得到相应的分数。然而，基于规则的评分方案存在以下问题，若不考虑标准答案的作用，会导致打分偏差较大。同时，由于人的表达方式多样性以及新的表达方式的产生，规则不可能全买能覆盖人类对某个问题的所有主题，未覆盖部分会导致打分偏差非常大。基于用户作答与问题相似度/匹配度的方案，没有考虑标准答案的作用，打分偏差较大。基于用户作答与标准答案的相似度/匹配度的方案，会导致有一定工作经验的工作人员在回答时往往不能得到符合预期的评价。

发明内容

基于此，有必要针对基于现有打分方案对于用户作答打分不符合预期的问题，提供一种业务问答数据处理方法、装置、计算机设备、存储介质。

一种业务问答数据处理方法，包括获取业务问答数据；所述业务问答数据包括题目数据、标准答案数据和用户作答数据；利用业务主题识别模型识别所述用户作答数据的主题类别信息，所述业务主题识别模型基于第一标注数据训练得到；将所述业务问答数据和所述主题类别信息输入打分预测模型，得到所述业务问题数据的打分结果，所述打分预测模型基于第二标注数据和第三标注数据训练得到，所述第二标注数据为不包含标准答案数据的样本数据，所述第三标注数据为包含标准答案数据的样本数据。

上述业务问答数据处理方法，通过引入主题体系对数据进行分场景标注，优化了数据标注方案和模型结构。同时，在进行模型训练时，既考虑了不参考标准答案的打分情况，又考虑了参考标准答案的打分情况，对两种情况下打分的损失函数进行了融合，可以平衡标准答案在打分中起到的作用，提高打分与实际情况的贴合度，降低打分偏差。利用上述业务问答数据处理方法对培训场景下的业务问答数据进行打分时，可以实现新员工在学习了课程后，按照课程标准作答能够获得一个基本评分，同时有经验的员工学习了课程后在作答时融入个人的经验和思考也可以得到一个相对较高的合理评分。

在其中一个实施例中，所述第一标注数据包括历史用户作答数据和主题类别信息，所述第二标注数据包括历史题目数据、历史用户作答数据、第一得分，所述第三标注数据包括历史题目数据、历史标准答案数据、历史用户作答数据、第二得分。

在其中一个实施例中，所述打分预测模型基于第二标注数据和第三标注数据训练得到包括利用所述打分预测模型根据所述第二标注数据中的所述历史题目数据和所述历史用户作答数据进行打分，获得第一训练得分；根据所述第一训练得分和所述第二标注数据中的第一得分得到第一损失值；利用所述打分预测模型根据所述第三标注数据中的所述历史题目数据、所述历史标准答案数据和所述历史用户作答数据进行打分，获得第二训练得分；根据所述第二训练得分和所述第三标注数据中的第二得分得到第二损失值；将所述第一损失值和所述第二损失值按照预设方式合并为融合损失值；利用所述融合损失值对打分预测模型进行调整。

在其中一个实施例中，所述将所述第一损失值和所述第二损失值按照预设方式合并为融合损失值包括对所述第一损失值的最小均方差损失和所述第二损失值的最小均方差损失进行求和，以获取融合损失值。