[发明专利]一种基于互联网数据形成产品数据库方法和系统

摘要

本发明公开了一种基于互联网数据形成产品数据库方法和系统。该方法如下：采用主题爬虫技术，抓取与主题相关度高于预设阈值的网页数据；将抓取的网页数据进行结构化存储；对结构化存储的网页数据按照产品所属类别进行自动分类；统计自动分类后的网页数据中产品属性的出现次数和出现时间，根据预设的权重对产品属性出现次数和出现时间进行加权计算，得到产品属性决策值，根据产品属性决策值确定产品属性排列顺序。该系统，包括数据抓取模块、结构化存储模块、数据分类模块和属性决策模块。这种基于互联网数据形成产品数据库方法和系统，用户无需搜集整理互联网中的产品信息便可获知较为全面的综合信息；保证了数据的实时性，满足了用户的实时需求。

主权项

一种基于互联网数据形成产品数据库方法，其特征在于，包括步骤：步骤A，采用主题爬虫技术，抓取与主题相关度高于预设阈值的网页数据,其中，所述主题相关度通过内容相关度分析和链接相关度分析进行计算；步骤B，将抓取的所述网页数据进行结构化存储；步骤C，对所述结构化存储的网页数据按照产品所属类别进行自动分类；步骤D，统计自动分类后的网页数据中产品属性的出现次数和出现时间，根据预设的权重对产品属性出现次数和出现时间进行加权计算，得到产品属性决策值，根据所述产品属性决策值确定产品属性排列顺序；其中，产品属性的出现次数记为F，产品属性的出现时间记为T，以及数据来源的权重记为W，通过公式(F+T)*W，得到所述产品属性决策值。