[发明专利]一种违规在线商品检测方法

摘要

一种违规在线商品检测方法，包括以下步骤：(1)通过网络爬虫对待检测在线商品所在页面的信息进行爬取；(2)通过分析待检测在线商品所在的电子商务网站的DOM树结构，找到包含网页中多个结构相似的信息块的最小深度的节点为临界节点，形成相关联信息点进行抽取的规则并建立模板，从爬虫获取的网页信息中提取商品属性信息数据；(3)建立语义字典，对提取的商品属性信息通过基于字符匹配的方法进行分词；(4)采用人工建立违规语义库，通过函数IllegalList将违规语义库中的词汇，和经过分词的商品属性信息相关内容词语字段进行识别判断，根据函数返回结果，判定违规在线商品的违规类别。本发明简化计算、及时性良好、适合多变的页面模式。

主权项

一种违规在线商品检测方法，其特征在于：所述检测方法包括以下步骤：(1)通过网络爬虫对待检测在线商品所在页面的信息进行爬取：(11)对页面内容及页面URL进行分析，计算页面与商品信息主题的相关度并设定阀值，过滤掉与主题相关度小于阀值的页面，保留主题密切的链接放入队列，根据优先级从队列选取链接爬取，直到存放页面URL的队列为空为止；(12)对网络爬虫抓取的HTML网页，利用HTMLCleaner解析其结构层次关系，获取页面的DOM树结构，并删除形式标签，分析页面的结构；(2)通过分析待检测在线商品所在的电子商务网站的DOM树结构，查找网页中与商品相关的信息在DOM树中的位置，并通过分析商品信息在DOM树中的位置，找到包含网页中多个结构相似的信息块的最小深度的节点作为临界节点，形成相关联信息点进行抽取的规则：(a)临界节点只可能是块类型节点的子集，不可能是其他类型节点；(b)临界节点的孩子节点中必然同时包括文本类节点、图片类型节点及样式类型节点；(c)临界节点的兄弟节点必然大于等于2，且兄弟节点和当前边界节点有相同的节点名称及相似的属性；根据抽取的规则建立模板，从爬虫获取的网页信息中提取商品属性信息数据；(3)建立语义字典：首先对产品标记和产品属性采用人工方法进行语义提取，形 成语义字典的静态部分；其次对电子商务产品涉及的概念，结合产品分类体系进行人工语义提取与构建；最后在人工构造初级字典的基础上，对语义字典进行扩充；对提取的商品属性信息进行分词采用基于字符匹配的方法，在匹配词和分字典过程中采用二分查找，若检索词在字典中，返回表示结果的对象，此对象为词，则返回查找结果并储存，若不是一个词，则查找返回以所查询词开头位置最靠前的词；若不在字典中，检查以给定字符串开头的其他词返回；(5)采用人工建立违规语义库，通过函数IllegalList将违规语义库中的词汇，和经过分词的商品属性信息相关内容词语字段进行判断，根据函数返回的结果，判定违规在线商品的违规类别。