[发明专利]一种面向众包的强化协同训练室内定位方法

说明书

本发明属于室内定位技术领域，具体的说是涉及一种面向众包的强化协同训练室内定位方法。本发明提出在协同训练中引入强化学习作为候选集样本选择的策略工具，因为DQN算法是一种离线策略算法，需要先对DQN网络进行训练再用于候选集样本的选择。DQN算法通过与环境的充分互动探索可以让网络对数据空间有整体的感知，这种策略相比于传统的固定策略更能防止局部最优解的情况发生。

技术领域

本发明属于室内定位技术领域，具体的说是涉及一种面向众包的强化协同训练室内定位方法。

背景技术

随着近些年智能终端和物联网的发展，室内的定位信息可以为用户提供更多个性化的服务，相关研究得到的越来越多的关注。基于无线信号RSSI的指纹室内定位技术，更是由于其不受限于多径效应和非视距遮挡等优点被广泛的关注。基于信号强度RSSI的指纹室内定位技术通常需要事先构建带标签的指纹数据库，需要对环境划分网格后并对采集到的RSSI指纹信息人工打上标签，这一过程需要花费的时间成本和人力成本是巨大的。随着半监督和无监督技术的发展，人们尝试用少量的带标签数据配合大量众包无标签数据构建指纹数据库。文献“Zhou Z H,Li M.Semi-Supervised Regression with Co-Training[C]IJCAI-05,Proceedings of the Nineteenth International Joint Conference onArtificial Intelligence,Edinburgh,Scotland,UK,July 30-August 5,2005.MorganKaufmann Publishers Inc.2005”中的协同训练就是一种使用广泛的半监督学习方法，该方法通过在数据中建立两个不同的分类器，利用两个分类器来“互补”地为无标签数据打上标签从而实现标签数据库的扩展构建。

协同训练模型中，每一轮迭代需要为无标签数据打上标签并将对应样本放入带标签集合中以至进一步训练两个分类器。为了保证后加入数据的标签可靠性，不同的协同训练算法会按照不同的策略来计算出置信度最高的样本并加入数据集。大多算法都面临以下问题：

1)训练迭代过程中，每次都按照固定的计算策略选择置信度较高的样本，这种训练可能造成模型的“短视”。与当前模型更好匹配的数据集更有机会被选中，最后导致模型陷入局部最优解，而不能扩大到完整的样本空间。

2)带标签的数据集和众包得到的无标签数据集在数据分布上是存在一定差异的，忽略这种差异在迭代一段时间后，模型可能会向无标签数据偏移，偏差的累计导致最终模型的性能下降。

发明内容

本发明针对协同训练算法构建指纹数据库每轮迭代选择候选数据集时面临的：按照固定策略选择数据造成模型局部最优解、忽略标签数据与众包数据在分布上的差异带来的模型性能问题。

在DQN强化学习算法中，强化学习的机制是训练一个Q智能体(Q-Agent)。智能体通过观察当下的环境(State)选择离散动作中的某一个动作(Action)得到奖赏系统反馈的奖励值(Reward)。模型在奖赏函数的指引下希望每一步能做出正确的动作，以获得更高的全局奖励。强化学习通常被应用于决策问题，因为其不断与环境互动的特性让其具有以下优点：1)在DQN算法中，有相关的环境探索机制防止模型陷入局部最优解；2)DQN算法不仅仅关注于眼下获取的奖励，更能获得全局的高奖励。

本发明设计了一种面向众包的强化协同训练室内定位方法，在传统协同训练中引入强化学习，将每次迭代中对候选数据集的选择过程建模成一个连续决策问题。定义选取数据加入指纹库后带来的定位效果提升作为激励，模型在反复的与环境的互动中对数据分布有整体的感知。相比于传统算法中按照固定的计算策略来评估候选数据的置信度，本发明的方法能对数据空间有更完备的感知，能做出更符合长远利益的决策，最终会取得更好的模型效果。

本发明的技术方案是：

一种面向众包的强化协同训练室内定位方法，包括以下步骤：