[发明专利]一种信息处理方法及系统

说明书

本发明公开了一种信息处理方法及系统，其中，所述方法包括：服务器用于：将训练样本分解为i个数据块，得到第一训练数据至第i训练数据，i为大于1的正整数；将第一训练数据至第i训练数据，分配给与至少一个服务器建立通信的至少一个信息处理节点，以进行模型参数的运算；信息处理节点用于根据第一训练数据至第i训练数据分别进行模型参数的运算，运算得到第一模型参数至第i模型参数；将第一模型参数至第i模型参数更新至至少一个服务器中；访问至少一个服务器，读取到由第一模型参数至第i模型参数构成的全局数据，根据所述全局数据得到距离所述信息处理节点中自身训练数据最远的样本，并作为更新的模型参数。

技术领域

本发明涉及信息处理技术，尤其涉及一种信息处理方法及系统。

背景技术

随着互联网技术、通信技术、智能终端等领域的发展，用户的生活越来越智能化。而智能化所依托的是大数据分析、数据挖掘的精确性。比如，视频服务、社交广告服务、用户画像挖掘等需要精准推荐的服务中都离不开大数据分析、数据挖掘的精确性，目的是为了从浩瀚的数据中找出用户所关心的信息。为了更好的实现该目的，可以，通过设计机器学习平台，部署大规模的机器学习任务，以打造出一个具备机器学习型生态的系统环境，该系统环境能支持更大数量级的数据，性能更好，更低的使用门槛。

在运行该系统环境时，需要用到聚类处理。然而，采用现有的聚类解决方案，随机概率性过高，导致聚类处理结果并不理想，不符合预期。对于这个问题，目前尚无有效的解决方案。

发明内容

有鉴于此，本发明实施例提供了一种信息处理方法及系统，至少解决了现有技术存在的问题。

本发明实施例的一种信息处理方法，应用于由至少一个服务器和至少一个信息处理节点构成的分布式架构，在所述至少一个服务器与所述至少一个信息处理节点间建立通信；所述方法包括：

服务器将训练样本分解为i个数据块，得到第一训练数据至第i训练数据，所述i为大于1的正整数；

服务器将所述第一训练数据至所述第i训练数据，分配给至少一个信息处理节点，以进行模型参数的运算；

信息处理节点根据所述第一训练数据至所述第i训练数据分别进行模型参数的运算，运算得到第一模型参数至第i模型参数；

信息处理节点将所述第一模型参数至所述第i模型参数更新至至少一个服务器中；

信息处理节点访问所述至少一个服务器，读取到由所述第一模型参数至所述第i模型参数构成的全局数据，根据所述全局数据得到距离所述信息处理节点中自身训练数据最远的样本，并作为更新的模型参数。

上述方案中，所述根据所述第一训练数据至所述第i训练数据分别进行模型参数的运算，运算得到第一模型参数至第i模型参数，将所述第一模型参数至所述第i模型参数更新至所述至少一个服务器中，包括：

在所述至少一个信息处理节点间，以多轮迭代的方式进行模型参数的运算和模型参数的更新；

当所述多轮迭代的次数达到预设的迭代值时，满足收敛条件，结束所述模型参数的运算和模型参数的更新。

上述方案中，所述在所述至少一个信息处理节点间，以多轮迭代的方式进行模型参数的运算和模型参数的更新，包括：

根据所述第一训练数据进行模型参数的运算，得到所述第一模型参数，本信息处理节点将所述第一模型参数更新至所述至少一个服务器中；

触发多轮迭代，在每一轮的模型参数运算中，本信息处理节点从所述至少一个服务器中读取上一轮非本信息处理节点进行模型参数运算后更新至所述至少一个服务器中的至少一个模型参数，所述至少一个模型参数包括第二模型参数至第i模型参数；

根据所述第二模型参数至第i模型参数，更新所述第一模型参数。