[发明专利]一种数据融合方法、装置、设备及存储介质

说明书

本发明公开了一种数据融合方法、装置、设备及存储介质，其方法包括：获取当前批次发布的当前任务以及当前批次之前发布的历史任务；基于历史任务，通过二分类任务的正负标签的分布概率，估算出注释标签的错误率；将当前任务发送至标签注释者进行注释获得注释标签；将当前任务输入到训练好的分类器中预测获得预测标签；根据当前任务的注释标签、预测标签与注释标签的错误率，估算出预测标签的错误率；根据二分类任务的正负标签的分布概率、预测标签的错误率和注释标签的错误率，融合预测标签与注释标签，得到当前任务的最终标签；本发明达到了在没有准确标签的情况下使用分类器来辅助完成当前任务的目的，节约了劳动力并且加快了任务的完成。

技术领域

本发明涉及一种数据融合方法、装置、设备及存储介质，属于数据分析处理技术领域。

背景技术

在现实生活中，用来训练机器学习的标签大多来自于人类的智慧，而将训练完成的模型用来辅助人类工作，会达到提高任务效率和质量的效果。通过众包的方式获取标签供机器学习进行训练的获取标签的方式是一种快速，简单且有效的方式，但是人类智慧带来的标签中往往是存在噪声的，因此需要相关的方法来处理不同的标签中的噪声才能使得机器学习模型受噪声的影响较小，而若要使用机器学习来辅助人类做任务，也需要估测机器学习训练的模型的质量。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种数据融合方法、装置、设备及存储介质，解决人类智慧带来的标签中往往是存在噪声的技术问题。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种数据融合方法，包括：

获取当前批次发布的当前任务以及当前批次之前发布的历史任务；

基于历史任务，通过已知的二分类任务的正负标签的分布概率与估算出注释标签的错误率p₊与p_-；

将当前任务发送至标签注释者进行注释获得一组注释标签；

将当前任务输入到训练好的分类器中预测获得一组预测标签；

根据当前任务的注释标签、预测标签与注释标签的错误率p₊与p_{_}，估算出预测标签的错误率与

根据已知的二分类任务的正负标签的分布概率与预测标签的错误率与和注释标签的错误率p₊与p_-，融合预测标签与注释标签，得到当前任务的最终标签；

其中，所述错误率为将正标签标记为负标签或将负标签标记为正标签的概率。

优选的，所述估算出注释标签的错误率p₊与p_-包括：

取N份历史任务以及历史任务所对应的两个历史标签，并将所有历史任务的两个历史标签统计为集合A和集合B，所述历史标签为正标签或负标签；

根据对应两个历史标签相同的历史任务的数量占所有历史任务的数量N的比例，记为匹配率q，其表达式如下：

其中，a_k和b_k分别为A集合和B集合中第k个历史任务的历史标签；

所有历史任务的注释标签中负标签的比例P_-为：

根据正负标签的分布概率与匹配率q和注释标签中负标签的比例P_-计算出历史任务的注释标签的错误率p₊与p_-，其表达式如下：