[发明专利]基于Storm的食品数据并行计算一致性问题的优化方法

摘要

本发明公开了一种基于Storm的食品数据并行计算一致性问题的优化方法，首先获取食品事件数据，其次对每个事件进行single‑pass聚类，然后通过动态获取簇增量和延时计算两种方式解决数据不一致的问题，从而实现流式数据聚类，用于发现舆论导向，对公众关注点进行快速响应。本发明提供的基于Storm的食品数据并行计算一致性问题的优化方法通过Storm分布式框架并行处理以及动态获取簇增量和随机延时的方法提高了舆情数据的处理效率和准确率，解决了并行处理数据不一致以及遍历簇次数过多的问题。因此，本发明提供的技术方案实现了基于Storm框架的single‑pass算法，而且对single‑pass算法进行了改进，大大提高了运算效率，提高了优化方法的时效性。

主权项

1.一种基于Storm的食品数据并行计算一致性问题的优化方法，其特征在于，包括：获取食品数据；通过第一层Spout节点将所述数据随机分发给第一层Bolt节点；使用正向最大分词方式对所述数据进行分词；根据TF‑IDF算法将分词之后的数据聚类分发给第二层Bolt节点，获得向量化之后文本的表示形式如下：D＝{(t1，w1)，(t2，w2)，(t3，w3)，……，(t4，w4)，}     (1)其中，t1、t2、t3…tn为特征项，w1、w2、w3…wn为对应所述特征项的权重值；将文本向量化之后的数据聚类分发给第三层Bolt节点，进行single‑pass聚类处理，在30ms之内获取和计算簇增量，当没有新的簇可供获取和计算时，随机等待30ms‑50ms的时间；第四层Bolt节点使用余弦相似度算法进行文本聚类，所述余弦相似度算法的计算公式如下：其中，A和B为两个文本向量；第六层Bolt节点将每个文本的簇ID存储到对应文本的Id字段之中，最终形成聚类结果。