[发明专利]跨线上购物平台的商品品类标注方法及系统

说明书

本发明公开了跨线上购物平台的商品品类标注方法及系统，属于大数据处理技术领域，要解决的技术问题为如何简单有效的实现跨平台筛选并标注生活必需品。包括如下步骤：采集各个线上购物平台中商品的商品信息，所述商品信息至少包括商品名称；对于每个品类，采集所述品类的特征词并构建所述品类的特征词集合；对于每个品类，采集所述品类的干扰词并构建所述品类的干扰词集合；对于从各个线上购物平台采集到的每个商品，在每个品类下，当且仅当所述商品的商品名称包含所述品类的特征词集合中任一元素、同时不包含所述品类的干扰词集合中任一元素，为所述商品标注所述品类对应的品类标签。

技术领域

本发明涉及大数据处理技术领域，具体地说是跨线上购物平台的商品品类标注方法及系统。

背景技术

粮油、蔬菜等生活必需品为市场保供稳价工作的重点。越来越多人选择线上购买粮油、蔬菜等生活必需品。各类线上购物平台的生活必需品也是重点监测对象。

然而，普遍地，线上购物平台的类目众多，且不同线上购物平台之间的平台类目存在较大差别。有的平台商品数量百万、千万量级；有的平台上与某一目标生活必需品相关的类目多达千余个；有的平台类目分为三个层级，有的平台类目分为五个层级；有的平台类目由卖家自己设计，即使两个平台都为三级类目结构，同一类生活必需品对应的平台类目也不尽相同。

如何简单有效的实现跨平台筛选并标注生活必需品，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供跨线上购物平台的商品品类标注方法及系统，来解决如何简单有效的实现跨平台筛选并标注生活必需品的技术问题。

第一方面，本发明一种跨线上购物平台的商品品类标注方法，对于作为生活必需品的商品，用于基于中文关键词实现跨线上平台的商品品类标注，所述方法包括如下步骤：

采集各个线上购物平台中商品的商品信息，所述商品信息至少包括商品名称；

对于每个品类，采集所述品类的特征词并构建所述品类的特征词集合；

对于每个品类，采集所述品类的干扰词并构建所述品类的干扰词集合；

对于从各个线上购物平台采集到的每个商品，在每个品类下，当且仅当所述商品的商品名称包含所述品类的特征词集合中任一元素、同时不包含所述品类的干扰词集合中任一元素，为所述商品标注所述品类对应的品类标签。

作为优选，对于每个品类，基于品类自身名称、品类近义词以及品类子类名称采集所述品类的特征词。

作为优选，对于每个品类，采集所述品类的干扰词并构建所述品类的干扰词集合，包括如下步骤：

对于包含特征词集合中任一元素的每种商品，随机选出预定种类的商品作为样本商品；

对于所述样本商品，查找不属于所述品类的商品作为目标商品；

对于所述目标商品，从所述目标商品的商品名称中查找干扰词，并基于所有目标商品的干扰词构建所述品类的干扰词集合。

作为优选，对于从各个线上购物平台采集到的每个商品，在每个品类下，通过正则表达式以及REGEXP_SUBSTR()进行包含关系判断，判断所述商品是否满足如下条件：当且仅当所述商品的商品名称包含所述品类的特征词集合中任一元素、同时不包含所述品类的干扰词集合中任一元素。

作为优选，所述方法还包括如下步骤：

对于每个品类，定期采集所述品类的特征词并更新所述品类的特征词集合；

对于每个品类，定期采集所述品类的干扰词并更新所述品类的干扰词集合；

对于已经标注的商品，在每个品类下，基于更新后的所述品类的特征词集合和干扰词集合，对所述商品的标注进行更新。