[发明专利]一种处理异步任务的方法和系统

说明书

技术领域

本发明涉及一种处理异步任务的方法和系统。

背景技术

物流配送行业，配送人员通常使用个人数字助理（PDA）设备，通过无线网络进行多种配送任务操作，如收货，验货，妥投等。对于大型物流配送系统，存在大量配送人员同时进行系统操作的场景，造成大并发系统调用，对于业务逻辑复杂，后台计算比较慢的情况，采用直接同步调用存在诸多问题，因此一般都采用将同步调用转变为异步调用方式来解决。

不仅仅是物流配送系统，对于一般互联网产品，在大并发情况下，同样会采取异步处理方案，而采用异步任务处理程序（Worker）模式，是最为广泛采用的方式。

现有的异步任务处理程序（Worker）解决方案，都是基于数据库的实现，其中包含的主要动作是插入对应的任务表，根据调度算法，使对应的worker处理相关的任务。以物流配送系统为例，主要的处理流程有：配送人员操作的PDA通过无线网络调用PDA网关应用，网关将系统同步调用转变为插入异步任务，任务插入成功即返回，以提高系统处理能力；异步任务处理程序（worker）从系统对应的数据库取出对应的任务进行处理，完成后对任务进行标识。该方案对数据库的依赖非常大，对于每次系统调用，要进行数据库插入、选择，以及多次的更新操作，在系统压力特别大的情况下，会造成数据库连接数不足，处理缓慢的情况。在网络状况不佳的情况下，有时造成相同的操作数据被重复提交，对于重复任务容易出现多个worker同时处理相同的任务，这有可能造成数据库死锁，从而使系统崩溃。

发明内容

有鉴于此，本发明提供一种处理异步任务的方法和系统，有助于克服现有技术中的上述种种不足。

为实现上述目的，根据本发明的一个方面，提供了一种处理异步任务的方法。

本发明的处理异步任务的方法包括：网关将接收到的任务数据插入Redis中的任务数据队列；异步任务处理程序从所述任务数据队列中获取任务数据，然后根据获取的任务数据执行任务。

可选地，所述将接收到的任务数据插入Redis中的任务数据队列的步骤包括：对任务数据字符串取一致性哈希值，对该哈希值按照任务数据队列的数目取模，将任务数据插入序号为该模的任务数据队列；所述根据获取的任务数据执行任务的步骤包括：从任务数据队列中取出预设数目条任务数据并进行去重处理，根据剩余的任务数据执行任务，在执行各件任务时，先将任务数据字符串的一致性哈希值作为键名保存到所述Redis中，在保存成功的情况下执行该任务然后删除作为键名的该一致性哈希值，在保存不成功的情况下放弃执行该任务。

可选地，在所述保存成功的情况下，还包括：所述异步任务处理程序向Redis提供过期时间，从所述保存完成时起经过该过期时间后，Redis删除作为键名的所述一致性哈希值。

可选地，所述异步任务处理程序从所述Redis中的队列中获取任务数据之前，还包括：所述异步任务处理程序判断所述Redis中的任务数据队列的数目是否超出预设阈值；若是，则进行所述根据获取的任务数据执行任务的步骤，否则不进行该步骤，而是将获取任务数据保存到数据库内，然后启动基于该数据库的处理程序。

根据本发明的另一方面，提供了一种处理异步任务的系统。

本发明的处理异步任务的系统包括：网关装置，用于将接收到的任务数据插入Redis中的任务数据队列；异步任务处理装置，用于从所述任务数据队列中获取任务数据，然后根据获取的任务数据执行任务。

可选地，所述网关装置还用于：对任务数据字符串取一致性哈希值，对该哈希值按照任务数据队列的数目取模，将任务数据插入序号为该模的任务数据队列；所述异步任务处理装置还用于：从任务数据队列中取出预设数目条任务数据并进行去重处理，根据剩余的任务数据执行任务，在执行各件任务时，先将任务数据字符串的一致性哈希值作为键名保存到所述Redis中，在保存成功的情况下执行该任务然后删除作为键名的该一致性哈希值，在保存不成功的情况下放弃执行该任务。

可选地，所述异步任务处理装置还用于：向Redis提供过期时间，以供所述Redis从所述保存完成时起经过该过期时间后，删除作为键名的所述一致性哈希值。

可选地，所述异步任务处理装置还用于：判断所述Redis中的任务数据队列的数目是否超出预设阈值；若是，则根据获取的任务数据执行任务，否则将获取任务数据保存到数据库内，然后启动基于该数据库的处理程序。