[发明专利]一种文本数据转换脚本的执行优化方法

说明书

本发明公开了一种文本数据转换脚本的执行优化方法。针对通过网络分布式处理执行的文本数据转换脚本，对文本数据转换脚本进行解析，生成执行计划树；使用基于元组的多重集作为文本数据的数据模型，文本数据转换脚本包含了对多重集的结构和内容进行修改和转换的数据操作；根据转换脚本执行场景的不同，采用对应的执行优化方法；根据优化后得到的执行计划结果，生成逻辑程序处理并运行，从而对大数据平台上的数据进行高效地转换和处理。本发明方法能够应用于数据准备阶段对海量文本数据的处理，通过应用面向文本数据转换脚本的执行优化方法，能够有效地减少文本数据转换脚本在执行时的时空代价，提高数据准备阶段的效率。

技术领域

本发明涉及海量文本数据处理的优化方法，具体是涉及了一种文本数据转换脚本的执行优化方法。

背景技术

随着移动互联网、物联网等相关领域的快速发展，数据呈现出爆炸式的增长趋势，在数据量越来越大的同时，能够利用的数据种类也越来越丰富。通过对数据分析，人们能够从中提取出关键信息，寻找规律进而做出决策。

数据准备是数据分析的第一步。传统的数据准备主要采用ETL技术，需要用户通过手工程序编码的方式或使用第三方ETL工具中预设的程序逻辑来实现对数据的抽取、转换和加载过程。新兴的自助式数据准备技术提供了一种基于图形化界面的交互式数据转换处理方法。通过数据可视化技术以及机器学习技术，自助式的数据准备方法将数据以可视化地展示给用户，同时根据用户在图形化界面中的鼠标点选等交互操作，推测用户的数据转换意图并生成数据转换操作，并最终对数据进行处理。自助式的数据准备方法避免了对数据转换逻辑的程序编码，降低了数据准备的技术门槛，有效地提高了数据准备阶段的效率。

在当前数据分析所针对的数据不仅仅局限于传统的结构化数据，还涵盖了XML，JSON以及日志等半/非结构化文本数据。新兴的大数据平台能够有效地对大规模半/非结构化文本数据进行存储。面向大数据的自助式数据准备技术在自主式数据准备技术的基础上增加了处理海量数据的能力。

在自主式数据准备技术中，文本数据转换语言是面向图形化界面中用户交互操作建模的语言，文本数据转换脚本是一种使用文本数据转换语言描述的程序脚本。文本数据转换脚本能够对海量的文本数据进行转换和处理。

发明内容

为了解决背景技术中存在的问题，本发明提供了一种文本数据转换脚本的执行优化方法，能解决文本数据转换脚本处理海量文本数据的问题，能够高效且可扩展地处理海量文本数据的程序逻辑并执行。

本发明解决其技术问题采用的技术方案如下：

本发明能根据转换脚本执行场景的不同，即单数据转换脚本的执行场景和多数据转换脚本的执行场景，采用对应的执行优化方法，从而生成针对海量文本数据且高效可扩展的程序处理逻辑。

针对通过网络分布式处理执行的文本数据转换脚本，采用以下方法步骤处理：

(1)对文本数据转换脚本进行解析，生成执行计划树，并可对执行计划树中的结点的合法性和有效性进行检验；使用基于元组的多重集(行列构成的二维表)作为文本数据的数据模型，文本数据转换脚本包含了对多重集的结构和内容进行修改和转换的数据操作；

文本数据转换脚本是一种使用文本数据转换语言描述的程序脚本。

文本数据转换语言是一种面向图形化界面中用户交互操作建模的语言。

执行计划树是一种基于树的抽象数据结构。

所述的执行计划树中，一个结点是一个数据操作，树中结点的父子关系表示数据操作执行的先后次序，所有子结点代表的数据操作完成后才能执行父结点代表的数据操作。

(2)根据转换脚本执行场景的不同，采用对应的执行优化方法；