[发明专利]一种数据处理方法、装置、计算机设备和存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

响应于数据的变动操作，将所述数据写入kafka消息队列的存储结构中，得kafka消息数据；

将所述kafka消息数据写入至预设的制表符分隔值格式文件中；

将所述制表符分隔值格式文件中的kafka消息数据按照预设时间阈值定时写入预设的ReplacingMergeTree引擎的clickhouse物理表。

2.根据权利要求1所述的数据处理方法，其特征在于，所述预设的制表符分隔值格式文件的生成方法包括：

响应于用户对制表符分隔值格式文件引擎表的创建操作，生成与所述制表符分隔值格式文件引擎表对应的制表符分隔值格式文件。

3.根据权利要求1所述的数据处理方法，其特征在于，

所述kafka消息数据携带有对应数据的主题信息、标签信息以及消息内容信息；

所述clickhouse物理表内所含字段与所述主题信息、标签信息以及消息内容信息的字段对应；

所述将所述制表符分隔值格式文件中的kafka数据按照预设时间阈值定时写入预设的clickhouse物理表，包括：

根据所述主题信息、标签信息以及消息内容信息，将所述制表符分隔值格式文件中的kafka数据按照预设时间阈值定时写入预设的clickhouse物理表中对应字段位置。

4.根据权利要求1所述的数据处理方法，其特征在于，还包括：

在所述制表符分隔值格式文件中清空已写入clickhouse物理表中的kafka消息数据。

5.一种数据处理装置，其特征在于，包括：

第一写入单元，用于响应于数据的变动操作，将所述数据写入kafka消息队列的存储结构中，得kafka消息数据；

第二写入单元，用于将所述kafka消息数据写入至预设的制表符分隔值格式文件中；以及

第三写入单元，用于将所述制表符分隔值格式文件中的kafka消息数据按照预设时间阈值定时写入预设的ReplacingMergeTree引擎的clickhouse物理表。

6.根据权利要求5所述的数据处理装置，其特征在于，还包括：

制表符分隔值格式文件生成单元，用于响应于用户对制表符分隔值格式文件引擎表的创建操作，生成与所述制表符分隔值格式文件引擎表对应的制表符分隔值格式文件。

7.根据权利要求5所述的数据处理装置，其特征在于，所述kafka消息数据携带有对应数据的主题信息、标签信息以及消息内容信息；所述clickhouse物理表内所含字段与所述主题信息、标签信息以及消息内容信息的字段对应；

所述第三写入单元，包括：

根据所述主题信息、标签信息以及消息内容信息，将所述制表符分隔值格式文件中的kafka数据按照预设时间阈值定时写入预设的clickhouse物理表中对应字段位置。

8.根据权利要求5所述的数据处理装置，其特征在于，还包括：

数据清空单元，用于在所述制表符分隔值格式文件中清空已写入clickhouse物理表中的kafka消息数据。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至4中任一项权利要求所述数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至4中任一项权利要求所述数据处理方法的步骤。