[发明专利]一种文本信息的预处理方法及装置

摘要

本申请提供一种文本信息的预处理方法及装置，利用替换文件路径调取替换文件，通过替换文件内的多个替换表达式对待处理文本信息进行匹配和信息替换，可实现将文本信息通过一次预处理过程，就完成文本信息多处不同文本内容的替换，并且一个替换表达式即可完成一次替换，不仅避免操作重复，而且降低运算量，提高替换效率；同样，利用筛选文件路径调取筛选文件，调取筛选文件中的多个筛选表达式，可实现将文本信息通过一次预处理过程，完成文本信息多处不同文本内容的筛选，并且一个筛选表达式即可完成一次筛选，既避免操作重复，又降低运算量，提高筛选效率；并且工作人员仅需录入替换或筛选文件路径调取替换或筛选文件即可，提高预处理的灵活性。

主权项

一种文本信息的预处理方法，其特征在于，所述方法包括：获取待处理文本信息和所述待处理文本信息对应的替换文件路径；根据所述替换文件路径，调取所述替换文件路径对应的替换文件，其中，所述替换文件包括多个替换表达式，所述替换表达式为用户预先录入的替换表达式或通过业务词典获得的替换表达式，每个所述替换表达式均包括匹配表达式、替换信息和匹配粒度，所述匹配粒度为全信息匹配或拆句匹配；根据第一替换表达式的匹配粒度，利用所述第一替换表达式的匹配表达式与所述待处理文本信息进行匹配；如果匹配成功，则根据匹配文本信息和对应的位置，将所述匹配文本信息替换为所述替换信息，所述第一替换表达式为所述替换文件中的任意一个替换表达式；将所述替换文件中的另一替换表达式作为第一替换表达式，重复执行所述根据第一替换表达式的匹配粒度，利用所述第一替换表达式的匹配表达式与所述待处理文本信息进行匹配的步骤，直至遍历所述替换文件中所有的替换表达式为止；其中，生成所述通过业务词典获得的替换表达式的步骤如下：获取所述待处理文本信息对应的业务词典；利用所述业务词典中的每个词语，生成对应的正则表达式；根据每个所述词语对应的正则表达式，生成所述词语对应的替换表达式，所述词语对应的替换表达式的匹配粒度为全信息匹配，替换信息为所述词语，匹配表达式为所述词语对应的正则表达式。