[发明专利]数据处理方法和计算机可读存储介质、电子设备

说明书

本公开实施例公开了一种数据处理方法和计算机可读存储介质、电子设备，其中，方法包括：获取需要更新操作的文档数据集；基于操作类型对所述文档数据集进行分类，得到所述文档数据集中对应所述删除操作的删除数据集；其中，所述删除数据集中包括至少一个数据；响应于所述删除数据集中存在至少一个缺失路由字段的第一数据，为所述至少一个第一数据中每个所述第一数据确定至少一个设定路由字段；基于每个所述第一数据对应的所述至少一个设定路由字段，对每个所述第一数据执行删除操作；本实施例通过为需要执行删除操作的第一数据分配至少一个设定路由字段，保证了能够准确删除该第一数据，保证了事务性及数据更新性能。

技术领域

本公开涉及数据处理技术，尤其是一种数据处理方法和计算机可读存储介质、电子设备。

背景技术

ElasticSearch(以下简称ES)是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。目前ES支持使用Bulx接口对索引文档数据进行批量更新，支持的操作包括create(创建)、delete(删除)、index(索引)以及update(局部更新)四种操作方式。其中create是写入不存在的文档，delete是删除指定文档，index是替换指定文档，而update是更新指定文档的局部数据。在实际检索业务中，索引文档数据的更新使用批量更新接口，操作主要是index、update以及delete三种。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种数据处理方法和计算机可读存储介质、电子设备。

根据本公开实施例的一个方面，提供了一种数据处理方法，包括：

获取需要更新操作的文档数据集；其中，所述文档数据集中包括多个数据，所述更新操作的操作类型至少包括删除操作；

基于所述操作类型对所述文档数据集进行分类，得到所述文档数据集中对应所述删除操作的删除数据集；其中，所述删除数据集中包括至少一个数据；

响应于所述删除数据集中存在至少一个缺失路由字段的第一数据，为所述至少一个第一数据中每个所述第一数据确定至少一个设定路由字段；

基于每个所述第一数据对应的所述至少一个设定路由字段，对每个所述第一数据执行删除操作。

可选地，所述基于操作类型对所述文档数据集进行分类，得到所述文档数据集中对应所述删除操作的删除数据集之前，还包括：

基于所述文档数据集中的每个数据对应的至少一个更新操作对应的操作类型，对每个所述数据对应的至少一个更新操作进行合并，得到合并数据集；其中，所述合并数据集中每个数据对应一个更新操作；

所述基于操作类型对所述文档数据集进行分类，得到所述文档数据集中对应所述删除操作的删除数据集，包括：

基于操作类型对所述合并数据集进行分类，得到所述合并数据集中对应所述删除操作的删除数据集。

可选地，所述基于所述文档数据集中的每个数据对应的至少一个更新操作对应的操作类型，对每个所述数据对应的至少一个更新操作进行合并，包括：

针对所述文档数据集中的每个数据，按时间获得所述数据对应的第一更新操作和第二更新操作，合并所述第一更新操作和所述第二更新操作，得到中间更新操作；

迭代执行：以所述中间更新操作作为新的第一更新操作，以所述第二更新操作之后的第三更新操作作为新的第二更新操作，合并所述新的第一更新操作和所述新的第二更新操作，得到新的中间更新操作；直到不存在第三更新操作，以得到的中间更新操作作为目标更新操作。

可选地，所述更新操作的操作类型还包括写入操作和局部更新操作；