[发明专利]大数据优化分析方法

摘要

本发明提供了一种大数据优化分析方法，该方法包括构建文件索引树结构，基于上述文件索引结构，对小文件进行合并。本发明提出了一种大数据优化分析方法，基于改进的分布式处理架构将来自不同异构源的多种小文件进行统一规范组织，便于高效存储、分析与检索。

主权项

一种大数据优化分析方法，用于在云计算环境下处理小文件，其特征在于，包括：以K维空间数据集划分的树构建文件索引树形结构的主干，判断K维树是否为空，若为空则直接作为根节点；否则比较该点与K维树根节点相应维的值的大小关系，进入其左、右子树进行下一步操作；若该点小于根节点相应维的值，则进入左子树进行查找操作直至某个节点的左子树或右子树为空；则将该点插入作为其叶子节点；若该点大于根节点相应维的值，则进入右子树进行插入操作；然后，在该K维树的叶子节点上加载位置敏感散列结构，即将剩余的点放置入位置敏感散列中；将数据集X转化为空间中的二进制串；预先选取参数r>0，c>1，随机选取K个散列函数；利用这些散列函数将数据点存入相应的散列表中；基于上述文件索引结构，对小文本文件进行合并，设有多个文件A1,A2…An，其中Ai＝ai1,ai2,…,aik…，且aik为文件名的第k个字符，具体步骤为：步骤1，对输入的字符串Ai，i＝l，2，...n找到aik＝‘.’，截取aik后面的所有字符，统计这个块中具有此类文件的个数，记为mij；依次计算同一节点中每一块所包含的此类文件的个数，得到序列mi1，mi2，...min，求mi＝∑mij；表示这个节点中包含的扩展名的类别；j＝0,1,…，n；步骤2.计算这个节点中存放的所有小文本文件的数目M，获取小文本文件在分类过程中设置的权值；步骤3.求解每个类型文件所占的比例mi/M，按比例从大到小排序；形成的扩展名列表在datanode中维护；步骤4.统计这个节点上的mi中的根节点，形成根节点列表；在每个扩展名中都有一个根节点列表，此列表在datanode中维护；步骤5.根据待放置的块所在的Reduce任务，得到此块的扩展名；步骤6.读取待放置的块的根节点，设置根节点列表，按照权值相似度最大原则对根进行排序；步骤7.选择此块中排在第一位的根；步骤8.在集群中找到扩展名所占比例最大的节点；在其中查找此根，如果存在，放置此块；步骤9.将此节点从候选列表中排除，然后判断列表是否为空；不为空，转步骤8；步骤10.将此根从根的列表中排除，判断根的列表是否为空；若不为空，转步骤7；若为空，随机存放在有此扩展名的节点上。