[发明专利]重复数据的清洗方法及服务器

说明书

技术领域

本发明实施例涉及数据处理技术领域，特别涉及一种重复数据的清洗方法及服务器。

背景技术

随着互联网技术的发展，生活中越来越多的事务得以通过互联网系统完成，如支付、商品选购、用户评价等等；其实现方式通常是：用户在前端设备(例如电脑网页端、手机应用程序app端)提交数据给服务器，服务器根据接收到的数据完成不同的业务。

对于服务器来说，一次提交就是一次完整的任务请求，如果前端设备针对相同的业务请求提交数据时点击过快，或者程序逻辑问题导致短时间内重复提交相同的请求数据，就会导致服务器重复执行任务。

举例而言，用户通过前端设备提交登录信息的时候，由于误操作，连续点击了提交按钮，或由于网络传输问题，用户因没有及时收到提交成功的反馈信息，而再次点击提交，那么服务器将分别对这两次登陆请求进行处理，不仅耗费了服务器资源，而且在第二次任务请求时可能会返回已登陆或者登陆异常的信息，影响了用户体验。

更进一步的，针对一些重要且敏感的业务操作，例如银行账户操作，服务器若因为上述误操作情形而对同一业务请求进行二次处理，可能会出现严重的业务问题，造成不可估计的损失。

发明内容

本发明实施方式的目的在于提供一种重复数据的清洗方法及服务器，解决了针对同一任务请求在短时间内重复误提交的相同数据的清除问题，从而可以避免服务器重复执行相同任务，有效提高服务器的工作效率。

为解决上述技术问题，本发明的实施方式提供了一种重复数据的清洗方法，应用于服务器，所述方法包括：接收前端设备的请求数据；根据所述请求数据计算出所述请求数据对应的验证值；判断已存储的验证值中是否包括所述请求数据对应的验证值；其中，所述已存储的验证值为当前时刻之前的预设时长内，接收到的且未被清洗的请求数据的验证值；若所述已存储的验证值中包括所述请求数据对应的验证值，则放弃所述请求数据。

本发明的实施方式还提供了一种服务器，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述重复数据的清洗方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现权利要求上述重复数据的清洗方法。

本发明实施方式相对于现有技术而言，对于接收的每个请求数据，都能够计算出该请求数据对应的验证值，并判断已存储的验证值中是否包括所述请求数据对应的验证值；其中，已存储的验证值为当前时刻之前的预设时长内，接收到的且未被清洗的请求数据的验证值。当已存储的验证值中存在该请求数据对应的验证值时，表示该请求数据在当前时刻之前的预设时长内出现过，即表示该请求数据为重复数据。从而，本实施例解决了同一业务模块中在短时间内针对同一任务请求重复提交的相同数据的清除问题，从而可以避免服务器重复执行相同任务，有效提高服务器的工作效率。

另外，若所述已存储的验证值中未包括所述请求数据对应的验证值，则存储所述请求数据对应的验证值且保留所述预设时长。本实施例中，未被清洗的所述请求数据对应的验证值仅被保留预设时长，从而能够及时释放存储空间，减小对存储空间的占用，利于资源合理分配。

另外，所述根据所述请求数据计算出所述请求数据对应的验证值，具体包括：从所述请求数据中提取N个信息项，其中，N为整数且N≥1；按照预设规则对所述N个信息项进行排序，以生成所述验证信息；根据所述验证信息计算出所述请求数据对应的验证值。本实施例提供了根据请求数据计算出所述请求数据对应的验证值的一种具体方式，其中，对于每个请求数据，从中提取N个信息项后，均是按照预设规则对所述N个信息项进行排序；即，对于每个请求数据，采用相同的规则对N个信息项进行排序以生成验证信息，以保证根据该验证信息计算出来的验证值能够唯一表征该请求数据。

另外，所述根据所述验证信息计算出所述请求数据对应的验证值，具体为：利用消息摘要算法计算出所述验证信息的信息摘要，以作为所述请求数据对应的验证值。本实施例中，采用消息摘要算法计算出来的验证值的唯一性较强，即能够较准确地唯一表征该请求数据，从而可以尽量避免出现误判。