[发明专利]基于循环神经网络的大数据轮廓查询处理方法

摘要

本发明的目的是为了克服现有技术存在缺陷而提供一种基于循环神经网络高效且可扩展性强的大数据轮廓查询处理技术。本发明方法概括为通过轮廓对象离线学习和轮廓对象在线识别两个步骤来获取大数据上的轮廓对象集。轮廓对象离线学习阶段，首先根据大数据所在领域的数据分布特征生成一定规模离线学习样本，然后基于离线学习样本构造并优化循环神经网络学习模型。轮廓对象在线识别阶段，针对所要处理大数据每个对象，使用循环神经网络学习模型，计算出每个对象模型输出值，并基于模型输出值确定和输出大数据上所有轮廓对象。具有速度快、可扩展性高及自适应能力强等优点，有效应用于互联网深度信息服务、智能交通、电子商务、和数据可视化等领域。

主权项

一种基于循环神经网络的大数据轮廓查询确认方法，其特征在于，包括如下步骤：步骤1，轮廓对象离线学习，通过两个阶段实现：在第一阶段中，对于k维大数据对象集合D，首先根据D所在领域的数据分布特征生成规模较小的领域数据对象集合M＝{s1[d1,…,dk],s2[d1,…,dk],…,sm[d1,…,dk]}，其中m为M中的对象个数，进而获取M上的轮廓对象集SM和非轮廓对象集NM，在此基础上，构造离线学习样本集合Ψ＝{<si[d1,…,dk],w>|1≤i≤m}，w为轮廓对象标识符，取值为0或1，如果si[d1,…,dk]是M上的轮廓对象，那么w为1，否则为0；在第二阶段中，首先对于离线学习样本集合Ψ中的每个样本<si[d1,…,dk],w>，将si[d1,…,dk]中的第dj维(1≤j≤k)分量si[dj]转换成一个长度为t的向量v(si[dj])，从而，每个样本<si[d1,…,dk],w>对应k个t维向量v(si[d1]),v(si[d2]),…,v(si[dk])，即Ψ＝{<(v(si[d1]),v(si[d2]),…,v(si[dk])),w>|1≤i≤m}。然后，基于向量化之后的离线学习样本集合Ψ，构造k步循环神经网络学习模型k‑RNN(Recurrent Neural Networks)。k‑RNN学习模型顺序链接k个循环神经网络构件RNN1,RNN2,…,RNNk，并迭代处理Ψ中的每个向量化样本<(v(si[d1]),v(si[d2]),…,v(si[dk])),w>，处理过程为：循环神经网络构件RNN1接收t维向量v(si[d1])，并产生中间向量v1，循环神经网络构件RNN2,…,RNNk‑1分别接收t维向量v(si[dk‑1])和中间向量vk‑2，并产生中间向量vk‑1，而循环神经网络构件RNNk接收t维向量v(si[dk])和中间向量vk‑1，并输出[0,1]区间中的一个数ot；当ot计算出来之后，将w与ot之间的差值w‑ot当作本次迭代的误差依次在RNNk,…,RNN2,RNN1中传播来修改它们对应的权重参数。当模型收敛之后，迭代过程终止，并得到最终的k‑RNN学习模型；步骤2，轮廓对象在线识别：针对待处理的k维大数据对象集合D＝{p1[d1,…,dk],p2[d1,…,dk],…,pn[d1,…,dk]}，并接收用户给出的轮廓度阈值γ，并基于轮廓对象离线学习模块中构造的k‑RNN学习模型，依次处理D中的每个数据对象pz[d1,…,dk](1≤z≤n)，处理过程为：首先分别将该对象中的k个分量转换成k个t维向量v(pz[d1]),v(pz[d2]),…,v(pz[dk])，然后将这k个t维向量输入到k‑RNN学习模型中，并获得[0,1]区间中的一个数otz，接着，判断otz是否大于轮廓度阈值γ，如果otz大于γ，那么识别pz[d1,…,dk]为轮廓对象，否则识别为非轮廓对象。最后将所有识别为轮廓对象的数据对象返回给用户。