[发明专利]一种基于深度强化学习的自适应众包方法

说明书

本发明公开了一种基于深度强化学习的自适应众包方法。方法具体为：1)首先从众包系统中采样需要分配的任务和候选的众包工人；2)通过深度学习方法获得待分配任务和候选工人的低维特征表示；3)通过强化学习方法确定任务分配策略；4)众包系统根据分配策略分配任务，根据任务完成结果评估本次分配获得的收益，将该收益反馈给强化学习方法，更新强化学习参数；5)从1)开始继续下一轮的任务分配。和现有技术相比，本发明结合了深度强化学习方法，系统地对任务分配问题进行建模，针对不同任务本身的特征选择合适的众包工人，形成了自适应的智能众包方法，创造性地提升了众包的工作效率和效果。

技术领域

本发明涉及深度强化学习方法在众包系统上的应用，尤其涉及众包系统中工人遴选、任务分配的技术方法。

背景技术

随着互联网的快速发展及信息全球化的推进，众包模式应运而生。众包是互联网带来的新的生产组织形式，改变了传统的解决方案，是一种分布式解决问题的方式，即利用互联网将相关工作分解并分配出去，化整为零。通过给予参与用户适当的奖励，将空闲生产力利用起来。对于政府和非盈利性组织而言，众包被认为是一种有潜力的问题解决机制。

众包在数据标注、图书电子化、知识图谱构建等方面都有着广泛的应用。在数据标注方面，海量非结构化数据需要人为标注转化为结构化数据，包括有监督深度学习在内的一系列方法都需要大量结构化数据作为支撑。而这些数据标注任务难以在短时间内由少数人完成。在图书电子化领域，数字图书馆的蓬勃发展使得人们可以通过互联网访问海量的图书资源，节能环保，但现存的扫描版电子书需要大量的人力物力转换为文本数据。虽然目前的OCR技术已较为成熟，但仍有大量的识别错误需要人为修正。除此之外，知识图谱构建也面临着类似问题。虽然知识图谱能够挖掘、分析、构建、绘制、显示知识及其相互关系，为学科研究提供切实的、有价值的参考，但知识图谱的构建过程中命名实体识别、实体关系抽取等任务均需要人工的参与。面对诸如此类的困境，众包技术的使用可以大大提高工作效率、降低投入成本。

在众包技术的应用中，任务的具体分配会很大程度影响到生产效率。一份不够完善的分配方案很有可能导致冗余工作的产生，增大成本，降低产出；反之，一份完善的分配方案能更大程度发挥众包技术的优势，提高空闲生产力的利用率。本发明重点对任务分配过程进行建模，将任务集合和工人集合的特点(即任务和工人的原始特征数据)和众包应用的任务目标相结合，用深度强化学习的方法获得一份完善的分配方案。

发明内容

为了解决现有技术中存在的问题，本发明提供了一种基于深度强化学习的自适应众包方法。

本发明结合深度学习和强化学习方法确定任务分配策略。对于某个具体目标的众包应用，本发明首先通过深度学习方法遴选众包工人，之后再运用强化学习方法确定具体任务分配，并根据最终任务的完成情况与目标的契合程度的反馈更新强化学习算法参数，优化分配策略。通过结合深度学习与强化学习，本发明不仅保证了任务分配方案契合众包应用的最终目标，保障了众包的质量，同时还完成了方法结构的分层，使得任务分配更具灵活性。

为实现上述目的，本发明的技术方案为：

基于深度强化学习的自适应众包方法，其步骤如下：

S1.首先从众包系统中采样需要分配的众包任务和众包工人的信息；

S2.通过深度学习方法获得待分配任务和工人的低维特征表示，具体包括以下子步骤：

S21.获取原始特征数据，包括众包任务的原始特征和众包工人的原始特征；

S22.构建深度神经网络，包括Encoder和Decoder两部分，其中Encoder的输入为原始特征数据，输出为原始特征的低维表示；Decoder的输入为Encoder所得的低维表示，输出为该低维表示的解析结果，即原始特征数据的近似表达；