[发明专利]基于分布式计算的大规模社交网络信息抽取方法

摘要

本发明公开了一种基于分布式计算的大规模社交网络信息抽取方法，首先预处理新闻论坛网站，抽取其新闻-用户关系网络，使用新闻-用户列表的元组将新闻-用户关系网络以文件的形式进行存储，其中每个元组包含了某个新闻及其相关用户列表；以新闻-用户列表元组文件作为输入，计算出每个实体用户相关的新闻数量以及每对用户之间共同评论的新闻数量，并分别以相应的元组形式储存为中间结果文件；以求出的两个中间结果文件构造用户新闻表以及用户新闻共同评论表，扫描这两张表来得到|N(u)N(v)|的值，由此计算最终的关系强度。本发明提出了一种基于分布式计算框架的社交网络信息抽取方法，得到较好扩展性和伸缩性。

主权项

1.一种基于分布式计算的大规模社交网络信息抽取方法，其特征是：包括下列步骤：(1)首先预处理新闻论坛网站，抽取其新闻-用户关系网络，使用新闻-用户列表的元组将新闻-用户关系网络以文件的形式进行存储，其中每个元组包含了某个新闻及其相关用户列表；(2)以步骤(1)新闻-用户列表元组文件作为输入，通过两轮Map/Reduce分布式计算，当用户调用程序Map/Reduce函数，要实现对每个用户累积评论的新闻数量统计的大型文档文件，通过基于分布式计算的Map/Reduce来实现社交网络中各个用户新闻评论的次数信息抽取，这里的Map操作任务是对需要处理的那部分数据的文件进行设置，其输入参数为<起始位置，数据长度>，当执行Map后所输出的系列中间结果表示为<用户名，评论次数>，最终输出每个用户新闻评论次数的结果，还需要Reduce函数对其中间结果进行操作处理，最后累加相同的用户所评论新闻的次数。分别计算出每个实体用户相关的新闻数量以及每对用户之间共同评论的新闻数量，并分别以相应的元组形式储存为中间结果文件；(3)以步骤(2)求出的两个中间结果文件：每个用户累积评论的数量文件以及每个用户对之间共同评论的数量文件，构造用户新闻表以及用户新闻共同评论表，扫描这两张表来得到|N(u)∪N(v)|的值，由此根据Jaccard系数公式计算最终的关系强度；其中新闻-用户关系网络是由新闻集合(V₁)和用户集合(V₂)构成的二部网络，用G(V，E)表示，其中V＝V₁∪V₂，且对于任意e(u，v)∈E，都有u∈V₁且v∈V₂；用α(u，v)来表示两个用户u，v之间的共同兴趣强度，α(u，v)定义为：α(u，v)＝|N(u)∩N(v)|/|N(u)∪N(v)|其中，其中N(u)表示点u在新闻-用户关系网络G中邻居的数量。