[发明专利]利用分布式异步更新在线机器学习的物联网数据分析方法

权利要求书

1.一种利用分布式异步更新在线机器学习的物联网数据分析方法，其特征在于分布式、层次化，所述利用分布式异步更新在线机器学习的物联网数据分析方法包括：

第一步，位于网络边缘的从机摄取由各种传感器生成的数据；将处理后的信息发送给主控机；同时，主控机会发送全局模型向量给从机；

第二步，从机发送本地计算的梯度给主控机；

第三步，主控机将全局矢量w发送给从机；

第四步，更新在线学习模型。

2.如权利要求1所述的利用分布式异步更新在线机器学习的物联网数据分析方法，其特征在于分布式、层次化，所述第一步将从机从边缘设备获取的数据流作为一个整体处理，将每个设备与N个从机中的一个相关联；数据集D分布在K上，即数据集D被划分为K个分区；使用符号I表示单位矩阵；给定两个矩阵和将M和N的克罗内克积表示为用作的简写；

(1)在线学习算法的初始化设置中，每个从机都以顺序的方式收集数据；在第t步，第i个从机接收到的数据表示为：(x_i，t，y_i，t)；其中表示样本是d维向量；y_i，t∈{-1，1}是指它的类标签；另外，第i个从机的分类模型由加权向量参数化；

(2)指定主控机维护一个复合向量w_t，由连接K个任务的权重组成即:且定期在主控机一侧更新；

(3)对于一个单一的从机节点，在时间t，从任务i接收数据(x_i，t，y_i，t)，并从主控机接收加权向量w_t；引入一个复合向量φ_t，其中并用表示。

3.如权利要求1所述的利用分布式异步更新在线机器学习的物联网数据分析方法，其特征在于分布式、层次化，所述第二步将学习过程表示为正则化风险最小化问题，设计目标函数采用再生核希尔伯特空间：

另外：其中

(1)对于第i个任务的X_t，定义特征映射如下：

两个实例之间的核积计算为：

(2)如果所有的数据都是预先提供的，可以将目标指定为上述RKHS中的经验风险最小化的问题，即：

然而，根据在线学习的设置，从第i次迭代中只能得到第t个实例，又可以用于表示第t次损失：

对于损失，计算其关于w_t的梯度如下：

对于矩阵A，设置为：

其中：a＝K+b(K-1)，其中b是用户自定义的参数；

化简后：

(3)为第i个从机分配一个大小为m的缓冲区记录最新的数据样本，并在缓冲区满时计算平均梯度，第i个任务的平均梯度计算如下：

其中m是用户自定义的缓冲区大小，B是缓冲的m个示例的索引集；通过调整m控制延迟更新的程度；

将分解为：

其中：

4.如权利要求1所述的利用分布式异步更新在线机器学习的物联网数据分析方法，其特征在于分布式、层次化，所述第三步对于主控机，始终保持最新的复合向量W_t和关系矩阵A；使用从机提供的梯度信息更新W_t，并在需要时将更新后的W_t发送给从机；

(1)从机定期将平均梯度发送给主控机；主控机使用收到的计算平均值如下：

(2)主控机保留N个时钟，其中一个时钟对应N个从机，即τ_i，i∈{1，...，N}；其中τ_i表示第i个从机的延迟；在每轮学习中，首先检查最大延迟maxτ_j是否超过允许量τ；如果是，则主控机将等待相应从机的梯度更新模型；否则，主控机将使用来自任何从机的任何最新梯度更新模型。