[发明专利]一种可保持titan实时数据一致性的高效并行加载方法

摘要

本发明公开了一种可保持titan实时数据一致性的高效并行加载方法，属于大数据处理领域；首先，将titan划分为7个并行工作的模块，清洗规则管理模块实时更新过滤规则；数据接收模块接收pieceOfData放入queue1中；数据清洗模块过滤合格数据放入queue2中；ID转换模块与高速索引模块交互，判断当前pieceOfData中的两个点与titan ID的对应关系是否存在与图数据库中；如果是，将titan内部ID属性与ID值替换点保存到pieceOfDataT中，放入到queue4中；否则，将未加载的点放入HashSet中，并将对应的pieceOfData放入queue3中；剩余数据加载模块多线程并行将pieceOfDataT加载到titan中；点加载模块负责将HashSet中点加入titan，将点与titan ID的对应关系加入高速索引模块。本发明每个模块独自或交互完成部分功能，从而实现整体上加载效率的提升。

主权项

一种可保持titan实时数据一致性的高校并行加载方法，其特征在于，具体步骤如下：步骤一、将图数据库titan划分为7个模块，且7个模块并行操作；7个模块包括：数据接收模块，清洗规则管理模块，数据清洗模块，ID转换模块，高速索引模块，点加载模块和剩余数据加载模块；步骤二、数据接收模块的多线程同时并行工作，每个线程循环从消息队列或CSV文件或消息队列等数据源获取数据，解析成多条pieceOfData数据，放入有界队列queue1中；pieceOfData数据由两个点，两个点之间的关系，以及点与关系的属性构成；步骤三、清洗规则管理模块定时读取规则配置文件，或接受客户端请求读取规则配置文件，实时动态更新过滤规则；步骤四、数据清洗模块多线程并行工作，每个线程循环依次从有界队列queue1获取一条pieceOfData数据，使用清洗规则进行判断，如果符合过滤条件，直接丢弃，否则，放入有界队列queue2；步骤五、ID转换模块多线程并行工作，每个线程循环从有界队列queue2中取出清洗过滤之后的pieceOfData数据进行处理；步骤六、剩余数据加载模块的多线程同时并行工作，每个线程循环从有界队列queue4中获取pieceOfDataT数据，并加载在titan数据库中；步骤七、点加载模块与高速索引模块交互，当满足结束条件后，结束所有线程。