[发明专利]一种配置处理文本流的方法

摘要

本发明属于工具软件开发技术领域，应用于需要处理文本流的工具开发的过程中。本发明主要特点是提供一种通用方法，给分析器提供一个过滤器预处理单元、过滤器单元和过滤器配置定义，消除输入文本流中的不可分析内容，并可向输出文本流中插入分析器支持的动作信息，从而能够控制分析器的运行状态，增强了开发人员控制分析器状态的能力。本发明针对分析器不能识别文本流中某些字符串的问题，提出一种根据模式匹配文本流并进行相应处理的方法，在分析器之前增加过滤器预处理器和过滤器，对输入文本流进行分析处理，扩大分析器的可分析文本范围。

主权项

1.一种配置处理文本流的方法，其特征在于：输入文本流(101)经过过滤器(103)处理后生成输出文本流(104)，在处理过程中，过滤器(103)会根据过滤器配置定义(102)修改输入文本流，并在其中插入分析器(105)能识别动作信息；分析器(105)接收输出文本流(104)进行分析，并识别其中的动作信息进行执行处理；第一步：输入文本流(101)是分析器(105)要处理的原始文本流，输入文本流(101)是要分析的源代码流或其它类型的文本流，其中包含分析器(105)不能识别的文本字符串，因此需要在传给分析器(105)前进行处理，删除或修改输入文本流(101)中的某些字符串；原始输入文本流(101)经过过滤器处理后生成输出文本流(104)，输出文本流(104)是分析器(105)可识别分析的文本流，根据分析器(105)自身功能进行词法分析、语法分析、语义分析操作及其它操作；第二步：过滤器(103)包括两部分：过滤器预处理单元和过滤器单元；过滤器(103)根据过滤器配置定义(102)修改输入文本流(101)，从而生成过滤后的输出文本流(104)，过滤后的输出文本流(104)是过滤后的包含分析器能够识别的动作信息的文本流；过滤器(103)过滤输入文本流(101)并得到处理后的输出文本流(104)；在过滤器(103)处理过程中会产生输入文本流(101)中字符串的位置信息和分析器支持的动作信息；输入文本流(101)中字符串对应的位置信息用于灵活替换任意长度的文本字符串，其中一个文本字符串和一个表示输入文本流(101)中字符串位置信息的数字一一对应；分析器支持的动作信息后续被分析器识别并执行，分析器支持的动作可被配置用于控制分析器运行状态，输出文本流(104)中分析器支持的动作数量和位置是根据实际需要进行配置并输出到过滤后的输出文本流(104)中的；输出文本流(104)最终被传给分析器(105)；第三步：为构成过滤器(103)，需要生成过滤器配置定义(102)；过滤器配置定义(102)包含用于在输入文本流(101)中搜索使用的模式、一个或多个与各个模式相关的开始状态、在输入文本流(101)模式匹配成功后执行的操作以及分析器支持的动作信息；匹配后可执行操作包括但不限于用其它文本替换输入文本流(101)中的一个或多个字符，用空字符串替换输入文本流(101)中的文本，拷贝匹配的文本到输出文本流(104)；分析器支持的动作根据分析器本身支持的功能不同，在输出文本流中的位置由过滤器配置和过滤器本身的处理过程决定，而且分析器支持动作的数量也由过滤器配置和过滤器本身决定；过滤器(103)使用过滤器配置定义(102)处理输入文本流(101)，搜索与过滤器配置文件(102)中定义的模式匹配的文本，当找到一个匹配文本时，通过过滤器(103)执行相应的操作；位置信息是由可执行操作决定的，可执行操作实现在输入文本流(101)与模式匹配时的文本替换；一个可执行操作可以生成一个或多个标识；一个标识包含匹配文本和替换文本之间的长度的不同，即一个可执行操作能够访问替换文本和匹配文本，以决定这个长度的不同；替换用的文本支持动态决定，动态决定方法包括但不限于：替换文本是匹配文本小写转大写后的内容；替换文本是匹配文本大写转小写后的内容；替换文本是被正则表达式子表达式匹配的文本的一部分；替换文本是匹配文本修改后的文本或者是子字符串；替换文本是匹配文本按照某种方式计算得到的文本；第四步：将输出文本流(104)传给分析器(105)进行分析，输出文本流(104)中包含分析器(105)能够识别并执行的动作信息。