[发明专利]一种数据更新方法及装置

说明书

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据更新方法及装置。

背景技术

比价购物网站是一种新兴的购物网站，用户可以通过比价购物网站上提供的各个电商网站中商品的商品信息比较选择商品，为用户购物提供价格比较的功能。由于各个电商网站上的商品信息的不断更新，比价购物网站上的商品信息需要与各个电商网站的商品信息保持一致，以便为用户提供准确的商品信息，所以，对比价购物网站上的商品信息的及时更新也是对比价购物网站的主要要求之一。

目前，对比价购物网站上的商品信息的更新方法通常是将事先抓取的电商网站的分类网址均加入更新队列，并对更新队列中的分类网址进行更新。但是，由于上述更新方法没有任何的更新策略，每次更新都是对电商网站中的所有分类网址均进行更新，使得完成一次更新的时间很长，数据更新缓慢，实时性大大的降低。同时，电商网站一般只是部分商品信息更新比较频繁，如果按照传统的更新方法对比价购物网站上的商品信息进行更新，会导致一些并不会经常更新的商品信息占用了大量的带宽和时间。

发明内容

本发明提供了一种数据更新方法及装置，能够对更新比例较高的分类中的对象信息优先更新，最大程度的保证数据的实时性与准确性。

本发明提供了一种数据更新方法，所述方法包括：

将分布式存储的各个更新日志信息中具有相同分类标识的对象信息确定为属于同一分类的对象信息，所述更新日志信息包括具有分类标识和更新标识的对象信息，所述分类标识用于标识对象信息所属分类，所述更新标识用于标识对象信息的更新状态；

以分类为单位，计算各个分类对应的更新比例，其中，任一分类对应的更新比例为所述分类中已更新的对象信息的数量与所述分类中对象信息总数量的比值；

根据所述更新比例确定各个分类的更新顺序，并依据所述更新顺序完成对象信息的更新。

优选地，所述将具有相同分类标识的对象信息确定为属于同一分类的对象信息之后，还包括：

判断各个分类前两次更新的时间间隔是否大于预设时间；

当任一分类前两次更新的时间间隔大于所述预设时间时，对所述分类中的对象信息优先更新。

本发明还提供了一种数据更新装置，所述装置包括：

确定模块，用于将分布式存储的各个更新日志信息中具有相同分类标识的对象信息确定为属于同一分类的对象信息，所述更新日志信息包括具有分类标识和更新标识的对象信息，所述分类标识用于标识对象信息所属分类，所述更新标识用于标识对象信息的更新状态；

计算模块，用于以分类为单位，计算各个分类对应的更新比例，其中，任一分类对应的更新比例为所述分类中已更新的对象信息的数量与所述分类中对象信息总数量的比值；

第一更新模块，用于根据所述更新比例确定各个分类的更新顺序，并依据所述更新顺序完成对象信息的更新。

优选地，所述装置还包括：

判断模块，用于判断各个分类前两次更新的时间间隔是否大于预设时间；

第二更新模块，用于当所述判断模块的结果为是时，对所述分类中的对象信息优先更新。

本发明首先获取更新日志信息，其次，确定属于同一分类的对象信息，并以分类为单位，确定各个分类对应的更新比例，最后，根据各个分类对应的更新比例的大小确定更新顺序，完成对象信息的更新。由于本实施例对更新比例大的分类优先更新，避免不经常更新的分类长时间占用带宽和时间。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的数据更新方法流程图；

图2为本发明实施例一提供的数据更新方法流程图；

图3为本发明实施例二提供的应用于比价购物网站的数据更新方法流程图。

图4为本发明实施例三提供的数据更新装置结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

参考图1，图1为本实施例提供的数据更新方法流程图，所述方法可以包括：