[发明专利]一种根据注释者辅助信息程度的标签排序的方法

说明书

本发明涉及一种根据注释者辅助信息的程度排序的方法，属于学习排序领域。首先分别通过利用Mallow模型基于置换的概率排序模型，构造出真实值标签与注释者之间的关系。通过利用P‑L模型基于分数的概率排序模型，构造出真实值标签与训练实例之间的关系，整合真实值与注释者之间的关系和真实值和训练实例之间的关系，得到新的概率排序模型。然后利用新的概率排序模型和约束函数，通过最大化对数似然学习得到最优参数集，最后通过EM算法迭代更新注释者的专业知识程度的参数集，并且得到排名函数参数。本发明使用最大化可能性优化框架，并引入新的EM程序迭代地推断和学习变量和参数，可以提供更多有益的相关应用。

技术领域

本发明公开了一种根据注释者辅助信息的程度排序的方法，属于学习排序领域。

背景技术

学习排序是一个相对较新的研究领域，在中国迅速崛起上个年代。它在许多应用程序中扮演着重要的角色，例如信息检索，数据挖掘，自然语言处理和语音识别(InProceedings of International Conference on Machine Learning(ICML),2007)。在与学习排名有关的问题中，一个实例是一组对象而标签是应用于对象的排名列表。特别是学习排序旨在从训练实例和排序标签构建排序功能。在传统的情况下，每个标签都假定客观可靠。这个假设运作良好，并且还用于其他常规监督设置，例如分类。许多监督学习研究最近强调，生产准确的训练标签对许多现实世界来说可能是不可思议的或者非常昂贵任务。现有的解决方法，可以提供多个(可能是主观的或嘈杂的)标签具有不同级别的专家级别的注释者。例如，亚马逊机械Turk(AMT)允许请求者聘请来自世界各地的用户标记数据。任何AMT用户可以选择用户自己选择的标签任务。在这个事件中，一个AMT请求者可以轻松并及时地雇佣多个贴标签者。但是，AMT用户分配有限的控制权，因此不能保证获得客观准确的标签。所以，必须全面探索多个注释者下的学习。

之前进行了大量的研究以探索机器学习多注释器下的方法。早期的作品之一Smyth等人(In Proceedings of Neural Information Processing Systems(NIPS),1995)是最先提出涉及到真实值的估计，然后使用估计的真实值学习模型。2010年，Raykar等人提出了概率框架来解决分类(J.Mach.Learn.Res2010)，回归和有序回归算法多个注释器。概率框架基于一个简单但合理的假设，即注释者观察到的标签取决于真实标签和专家的程度。他们的实验结果表明他们的框架优于Smyth等人提出的模型。Donmez和Garnonell(In Proceedings of SIAM International Conference on Data Mining(SDM),2010)调查了一个案例，其中注释者的专业知识是随时间变化的，并开发了一个连续的贝叶斯估计框架。Yan等人(In Proceedings of International Conference onArtificial Intelligence and Statistics(AISTAT),2010)引入了用于从人群标签学习的新的主动学习算法。Xie等人(In Proceedings of SIAM International Conferenceon Data Mining(SDM),2012)提出了一种新颖的学习框架，以评估实际情况注释者拒绝标记特定实例，并且每个注释者被赋予不同的一组实例来标记。其他相关着作的重点差异很大设置。