[发明专利]基于深度强化学习的三维空间LBS中位置隐私保护方法

权利要求书

1.一种基于深度强化学习的三维空间LBS(Location Based Services，基于位置的服务)中位置隐私保护方法，其特征在于步骤如下：

步骤1、使用LBS服务器和移动终端进行组网，在组网覆盖空间的三维空间内构建LBS系统，构建移动终端代表的用户位置隐私保护平台，其中攻击者为不可信的LBS服务器；当用户向LBS服务器请求位置服务之后启动位置隐私保护机制；将LBS服务器和移动终端进行组网的三维空间划分为多个立体网格，并赋予每个立体网格不同的语义位置，将不同网格语义位置的敏感度水平预先进行分级并根据需要标注，每一级敏感度水平的语义位置具有不同的隐私保护需求；

步骤2、用户采用基于深度强化学习算法的敏感语义位置保护机制对用户的真实位置进行扰动以保护敏感语义位置隐私，提高动态三维空间环境下位置隐私保护性能；移动终端用户首先初始化LBS系统环境及深度强化学习算法的学习参数，根据三维空间信息获取自身当前位置敏感度水平、评估自身受到攻击者攻击历史情况，并将其作为系统状态输入深度卷积神经网络CNN；深度卷积神经网络作为每个位置扰动策略对应Q值的非线性拟合器，使用多层神经网络提取环境特征，并对相似状态下的学习信息进行压缩存储，从而加快学习速度并提高性能；通过深度强化学习动态选择位置扰动策略来防御攻击者的位置推断攻击，权衡位置隐私和服务质量需求；

步骤3、基于扰动策略确定扰动位置，研究基于差分隐私的严格且可证明的三维位置隐私保护度量方法，定义三维空间中的地理不可区分机制，即对于在半径为R的给定球形区域内的任意位置，无论攻击者拥有多少先验知识，其对用户真实位置的推断结果的分布相似，设计三维拉普拉斯加噪机制，实现对位置的X，Y和Z坐标同时进行扰动，实现三维空间地理不可区分性，严格保证差分隐私；

步骤4、将用户扰动后的位置发送至LBS服务器，基于接收到的用户的位置信息，LBS服务器为用户提供服务反馈；之后根据LBS服务器反馈结果评估隐私保护水平及服务质量损失，评估用户所处的LBS服务器网络效益，并形成下一时隙的系统状态；

步骤5、基于用户需求和位置敏感度的扰动策略对用户位置隐私进行动态保护，利用迁移学习的思想，对确定的扰动后的扰动位置进行经验回收，将前后系统状态、扰动策略和对扰动的评价结果作为经验存储进经验池，通过更新网络权重参数从而不断优化用户的位置保护策略；根据用户所处环境和隐私泄露情况，移动用户重复上述步骤，直到学习到稳定的位置扰动策略，利用稳定的位置扰动策略实现用户在三维空间LBS中位置实时隐私保护；

初始化用户访问的三维空间地图、扰动策略空间A，其中A为正常数，包括扰动幅度和扰动角度的选择范围，攻击结果初始化深度强化学习算法的学习参数和卷积神经网络的网络权重参数θ，将用户当前位置敏感度水平以及自身受攻击历史作为系统状态参数输入卷积神经网络，获取位置扰动策略：

步骤2.1、基于三维空间分好的立体网格在三维空间标定用户当前访问的地理位置d^(k)和语义位置c^(k)，根据用户自身的真实位置查看所处的三维空间中的立体网格的敏感度水平l^(k)；

步骤2.2、根据前一步获取的信息形成当前用户所处的LBS系统网络状态：其中为时隙k的上一次攻击结果，将时隙k内的用户所处的LBS系统网络状态s^(k)拓展为经验序列对其中包括当前的系统状态s^(k)以及前W个LBS系统状态对，即某一时刻的系统状态对是该时刻的LBS系统状态s^(k)和采用的位置扰动策略a^(k)组成的集合，其中a反映了隐私预算ε，算式为：

步骤2.3、当k≤W时，随机选择位置扰动策略a^(k)∈A；

步骤2.4、当k＞W时，则将经验序列对输入卷积神经网络获得Q函数为给定的经验序列对状态下选择位置扰动策略a下的期望长期效益，表达式为：

其中u^(k)为LBS系统效益，γ为折扣因子，表示在给定当前经验序列对状态下选择位置扰动策略a后的下一个状态序列；

步骤2.5、根据式：利用∈贪婪算法选择位置扰动策略a^(k)∈A；

获得扰动位置的具体方法为：

步骤3.1、在三维空间中用球坐标系替换笛卡尔坐标系来确定扰动位置；用户真实位置为d^(k)，其扰动位置为其中ε为隐私预算，r表示d^(k)和之间的距离，ω是极角，φ是方位角，在球坐标系中以d^(k)为中心的三变量拉普拉斯的概率密度函数为：

三个变量表示为半径R，极角Ω，方位角Φ，三个变量的边缘分布分别为：

步骤3.2、在单位球内选取一个随机向量U＝(ω,φ)，即为伽马分布Γ(3,1/ε)的概率密度函数，根据伽马分布Γ(3,1/ε)确定一个半径r，则扰动位置服从分布在笛卡尔坐标系下该位置可表示为：并获取对应的语义位置