[发明专利]一种基于滑动任务窗的众包质量评估方法

说明书

技术领域

本发明涉及一种基于滑动任务窗的众包质量评估方法，属于众包与互联网应用领域。

背景技术

众包是一种公开面向互联网大众的分布式问题解决机制，它通过整合计算机和互联网上未知的大众来完成计算机单独难以完成的任务。目前众包已经在商业领域大放异彩，例如，法国的网络媒体爱可网采用用户制作内容的理念为品牌创新注入强劲的动力，Amazon的Mturk平台则是基于经济奖励的方式让大众解决实际难题，百度百科、维基百科、搜狗拼音输入法等都是优秀的免费协作案例。同时，众包通过汇聚大众的头脑智慧，能够解决很多计算机难以处理的问题，因此在信息可信、表情识别、图像标记、搜索排序、情感认知、机器翻译等领域得到广泛应用。

在众包任务执行过程中，工作者采用自由松散的组织形式，其工作态度和能力有所差异，有些工作者态度散漫，随机甚至恶意回答问题，对于某些专业类别的任务需求，很多工作者没有足够的专业知识和能力，导致工作质量参差不齐，执行结果存在较大的不确定性。随着众包在各个领域的广泛应用，众包的质量评估问题变得越来越重要。

发明内容

本发明目的在于设计了一种基于滑动任务窗的众包质量评估方法。针对众包平台的质量评估问题，通过引入专业准确率的概念对工作者进行评估，并结合滑动窗口原理、多数投票法、黄金标准数据法、和EM算法的思想，按照测试、划分、投票、评估、整合5个步骤对工作者和任务结果进行估计，从而实现对众包任务结果的高效、准确、实时、动态评估。

本发明采用的技术方案如下：

本发明提供一种基于滑动任务窗的众包质量评估方法，包括以下步骤：

1.测试，结合黄金标准数据法的思想，根据众包的任务类型，均匀选择各类型的黄金标准数据组成测试任务，通过设计一些具有标准答案的问题作为测试题目，在任务开始前，所有工作者都需要独立地完成测试任务。根据测试结果来识别欺诈者，同时对工作者的准确率进行评估，计算各个工作者的初始专业准确率；

2.划分，借鉴滑动窗口的原理，根据众包任务规模设定任务窗口大小和滑动间隔，将众包任务划分为滑动任务窗的形式；

3.投票，所有工作者对所有工作者进行独立投票；

4.评估，在任一任务窗内，根据投票结果对工作者和任务进行EM评估，每次评估需要两个步骤进行迭代计算，直到算法收敛。第1步利用已有的工作者的专业准确率的估计值，对所有的问题分别进行计算，得到每个问题结果的估计值。第2步是利用第1步得到的结果来计算每个工作者的专业准确率；

5.整合，对所有任务窗估计的最优结果进行整合，最终得到所有任务的评估结果。因为工作者在完成任务过程中，其专业准确率在不断变化，而且随着对任务了解的增多，其专业准确率一般会越来越高，所以在对估计结果进行整合的过程中，对于前后任务窗重叠的任务部分以后一任务窗的评估结果为准。

有益效果：

1.在工作者的准确率的基础上，引入了专业准确率的概念，来反映工作者正确完成某专业类别任务的概率，这样就能够对工作者的工作能力和完成质量进行更加准确的评估。

2.对方法的初始值设定更合理，结合黄金标准数据法的思想，在任务进行前，对工作者进行测试，得到工作者初始专业正确率。同时将任务进行滑动分窗，并考虑到工作者的专业正确率变化的连续性，把前一任务窗估计的工作者的专业正确率作为后一任务窗的初始专业正确率。

3.提高运行效率，通过对任务进行分窗估计，在每个任务窗内，评估的任务量大大降低，方法也更容易达到收敛。同时本方法是一种增量式算法，能够根据工作者在最近的任务窗的估计结果，及时对新任务进行评估。

附图说明

图1本发明基本流程图。

图2滑动任务窗的示意图。

图3参数设定实验结果图。

具体实施方式

下面结合附图和具体实施方式，对本发明作进一步说明。

如图1所示，本发明实施例的基于滑动任务窗的众包质量评估方法包括以下步骤：