[发明专利]大数据系统的数据搜索方法

摘要

本发明公开了一种大数据系统的数据搜索方法，该方法包括数据传播过程和数据搜索过程，该数据传播过程将节点的数据索引传播到一定范围的节点内，而数据搜索过程通过数据搜索消息在节点间的传播，搜索到需要的数据文件。与现有技术相比，该方法在搜索时间基本相同时，可以获得更高的数据搜索成功率,并且对网络和各个节点的资源占用较低。

主权项

1.一种大数据系统的数据搜索方法，其特征在于，该方法包括数据传播过程和数据搜索过程，其中，数据传播过程的具体步骤如下：1)大数据系统中的每个节点定期向所有邻居节点发送自身数据的数据传播消息，该数据传播消息中包括节点自身的数据文件索引表、消息标识符和初始传播长度Lmax，其中Lmax是一个预先设置的数值；2)当一个节点Y接收到一个数据传播消息时，其根据其中的消息标识符B检查是否已经收到过该数据传播消息，如果已经收到过该数据传播消息，则忽略该数据传播消息；如果没有收到过，则将该数据传播消息中携带的数据文件索引表T存储于该节点Y，或更新该节点Y中存储的旧数据文件索引表；3)该节点Y检查该数据文件索引表T中的所有数据文件哈希值，判断其对应的数据文件是否已存储于节点Y中，如果已存储，则在该数据文件索引表T中删除相应的数据文件哈希值，从而形成一张新的数据文件索引表Tnew；4)该节点Y获取该数据传播消息中的传播长度L，计算新传播长度Lnew＝L‑1；如果Lnew＝0，则该节点Y终止该数据传播消息的继续传播；如果Lnew＞0，则组装一个新的数据传播消息，该新的数据传播消息包括新的数据文件索引表Tnew、所述消息标识符B和新传播长度Lnew；5)该节点Y获取当前所有的邻居节点，设其共有K个邻居节点，则该节点Y从中随机选取个邻居节点，再将所述新的数据传播消息发送给所选取的邻居节点；所述数据搜索过程的具体步骤如下：1)当一个节点N接收到对一个数据文件的搜索请求时，该搜索请求中携带了该数据文件的哈希值HF，该节点N在自身的数据文件索引表中查找HF，如果查找到，则数据搜索过程结束，否则继续后续步骤；2)该节点N向所有邻居节点发送数据搜索消息，该数据搜索消息中包括该数据文件的哈希值HF、节点N的网络地址AddressN、初始搜索长度Smax，以及搜索消息标识符ID；其中Smax是一个预先设置的数值；3)当一个节点X接收到数据搜索消息时，根据该数据搜索消息中的搜索消息标识符ID检查是否已经收到过该数据搜索消息，如果已经收到过，则忽略该数据搜索消息；否则继续后续步骤；4)该节点X检查其存储的所有数据文件索引表，判断这些数据文件索引表中是否有HF，如果有，则将表中HF对应的节点地址发送给节点N，否则继续后续步骤；5)该节点X计算新的搜索长度Snew＝S‑1，其中S是该节点X接收到的数据搜索消息中包括的搜索长度；如果Snew＝0，则该节点X不再继续传播该数据搜索消息；如果新的搜索长度Snew＞0，则该节点组装一个新的数据搜索消息，所述新的数据搜索消息包括该数据文件的哈希值HF、节点N的网络地址AddressN、新的搜索长度Snew，以及搜索消息标识符ID；6)该节点X获取当前所有的邻居节点，假设其共有M个邻居节点，则该节点X从中随机选择个邻居节点，再将所述新的数据搜索消息发送给所选择的邻居节点。