[发明专利]一种基于滑动任务窗的众包质量评估方法

权利要求书

1.一种基于滑动任务窗的众包质量评估方法，其特征在于：

1)引入专业准确率的概念，对工作者进行评估；

2)对工作者进行黄金标准数据测试；

3)对众包任务进行滑动分窗；

4)工作者对任务进行独立投票；

5)在每一任务窗内，对任务结果进行估计；

6)对估计结果进行整合。

2.根据权利1所述的一种基于滑动任务窗的众包质量评估方法，其特征在于：1)中所述的专业准确率；即准确率是工作者正确完成的任务占其所有完成任务的比例，可以反映工作者能够正确完成任务的总体概率。而专业准确率是工作者完成某一专业类别的任务的准确率，用来反映工作者能够正确完成某专业类别的任务的概率。假设工作者w共完成t个专业类别{c₁，c₂，...，c_l，...，c_t}的任务，其中完成c_l类别的任务m_l个，正确完成k_l个，则工作者的准确率工作者的专业准确率

3.根据权利1所述的一种基于滑动任务窗的众包质量评估方法，其特征在于：2)中所述的对工作者进行黄金标准数据测试；即结合黄金标准数据法的思想，根据众包的任务类型，均匀选择各类型的黄金标准数据组成测试任务，通过设计一些具有标准答案的问题作为测试题目，在任务开始前，所有工作者都需要独立地完成测试任务。根据测试结果来识别欺诈者，同时对工作者的准确率进行评估，计算各个工作者的初始专业准确率。

4.根据权利1所述的一种基于滑动任务窗的众包质量评估方法，其特征在于：5)中所述的在每一任务窗内，对任务结果进行估计；即在任一任务窗内，根据投票结果对工作者和任务进行EM评估，每次评估需要两个步骤进行迭代计算，直到算法收敛。第1步利用已有的工作者的专业准确率的估计值，对所有的问题分别进行计算，得到每个问题结果的估计值；第2步是利用第1步得到的结果来计算每个工作者的专业准确率。其中，第1个任务窗的工作者的初始专业正确率由测试结果得到，其余任务窗的工作者的初始专业正确率由其前一任务窗的估计结果得到。

5.根据权利1所述的一种基于滑动任务窗的众包质量评估方法，其特征在于：6)中所述的对估计结果进行整合；即对所有任务窗估计的最优结果进行整合，最终得到所有任务的评估结果。因为工作者在完成任务过程中，其专业准确率在不断变化，而且随着对任务了解的增多，其专业准确率一般会越来越高，所以在对估计结果进行整合的过程中，对于前后任务窗重叠的任务部分以后一任务窗的评估结果为准。