[发明专利]MapReduce平台上的虚拟人建立方法

摘要

本发明涉及一种MapReduce平台上的虚拟人建立方法。该虚拟人建立方法包括：步骤1、从行为日志中提取账号及与账号对应的登陆时间、登陆终端信息；步骤2、根据账号之间协同出现的情况计算账号之间的相似度，构造以节点表征账号的连通图，并以节点之间的边的长度表征账号之间的相似度，节点之间的边越短，节点所表征的账号之间相似度越高；步骤3、基于MapReduce平台对所述连通图中的节点进行聚类，根据聚类结果建立虚拟人。本发明基于行为日志建立虚拟人，复杂度低，准确率高，适合于处理大数据；借助流行的MapReduce分布式计算思想在集群上实现了基于本地密度的聚类，弱化了处理时单机本身资源有限等所带来的限制，能实现对海量数据的处理，更快的完成聚类操作。

主权项

1.一种MapReduce平台上的虚拟人建立方法，其特征在于，包括：步骤1、从行为日志中提取账号及与账号对应的登陆时间、登陆终端信息；步骤2、根据账号之间协同出现的情况计算账号之间的相似度，构造以节点表征账号的连通图，并以节点之间的边的长度表征账号之间的相似度，节点之间的边越短，节点所表征的账号之间相似度越高；步骤3、基于MapReduce平台对所述连通图中的节点进行聚类，根据聚类结果建立虚拟人；其中，步骤3包括：步骤20、以连通图中的节点和边的信息作为输入数据，通过Map作业生成包括节点以及邻边信息的键值对，通过Reduce作业生成包括节点、节点的本地密度Rho以及节点所有邻边信息的输出，Rho定义为连接本节点的长度低于预定义值Dc的邻边的数目；步骤30、对于步骤20中Reduce作业的输出，通过Map作业生成包括节点、节点的Rho、邻居节点的Rho以及邻边信息的键值对，对每个节点，通过Reduce作业遍历节点的Rho、所有邻居节点的Rho以及所有邻边信息，得出每个节点的离散度Delta，Delta定义为本节点所有连接更高Rho值邻居节点的邻边中最短边的边长，若不存在这样的邻居节点，则取本节点最长邻边的边长；再结合预定规则来进行类标识；步骤40、相同类的各个节点一同构成一个虚拟人。