[发明专利]文本数据的筛选方法、装置、电子设备及存储介质

权利要求书

1.一种文本数据的筛选方法，其特征在于，包括：

将待处理文本数据通过第一筛选策略进行筛选，所述第一筛选策略用于根据首位标点符号及末位标点符号进行数据筛选；

和/或；将所述待处理文本数据通过第二筛选策略进行筛选，所述第二筛选策略用于对所述待处理文本数据中的控制符进行筛选；

和/或；将所述待处理文本数据通过第三筛选策略进行筛选，所述第三筛选策略用于根据所述待处理文本数据中出现预设敏感词汇的占比进行筛选；

和/或；将所述待处理文本数据通过第四筛选策略进行筛选，所述第四筛选策略用于根据所述待处理文本数据的文本总长度进行筛选。

2.根据权利要求1所述的筛选方法，其特征在于，所述将待处理文本数据通过第一筛选策略进行筛选包括：

从待处理文本数据的第一个字符开始遍历，确定所述首位标点符号及所述末位标点符号；

在所述第一个字符与所述首位标点符号之间查找预设符；

基于所述第一筛选策略，将所述第一个字符与所述预设符之间的文本数据删除；

将所述末位标点符号后的文本数据删除。

3.根据权利要求1所述的筛选方法，其特征在于，所述第一筛选策略还用于根据段落中是否存在标点符号进行数据筛选，包括：

基于所述第一筛选策略，查找所述待处理文本数据中不含标点符号的段落；

将所述待处理文本数据中不含所述标点符号的段落进行删除。

4.根据权利要求1所述的筛选方法，其特征在于，所述将所述待处理文本数据通过第二筛选策略进行筛选包括：

从待处理文本数据的第一个字符逐字检测，查找符合所述第二筛选策略的控制符；

将符合所述第二筛选策略的所述控制符删除。

5.根据权利要求1所述的筛选方法，其特征在于，所述将所述待处理文本数据通过第三筛选策略进行筛选包括：

基于所述第三筛选策略中的预设敏感词汇表对所述待处理文本数据的整个篇章进行预设敏感词汇的查找；

根据查找结果确认预设敏感词汇的所属类别；

根据所述预设敏感词汇的所属类别及出现次数，计算预设敏感词汇在所述待处理文本数据中的占比；

若所述占比超过所述第三筛选策略中的预设占比，则将所述待处理文本数据全部删除。

6.根据权利要求1所述的筛选方法，其特征在于，所述将所述待处理文本数据通过第四筛选策略进行筛选包括：

确认所述待处理文本数据的文本总长度；

若所述待处理文本数据的文本总长度小于所述第四筛选策略中预设的文本总长度，则将所述待处理文本数据删除。

7.一种文本数据的筛选装置，其特征在于，包括：

第一筛选单元，用于将待处理文本数据通过第一筛选策略进行筛选，所述第一筛选策略用于根据首位标点符号及末位标点符号进行数据筛选；

第二筛选单元，用于将所述待处理文本数据通过第二筛选策略进行筛选，所述第二筛选策略用于对所述待处理文本数据中的控制符进行筛选；

第三筛选单元，用于将所述待处理文本数据通过第三筛选策略进行筛选，所述第三筛选策略用于根据所述待处理文本数据中出现预设敏感词汇的占比进行筛选；

第四筛选单元，用于将所述待处理文本数据通过第四筛选策略进行筛选，所述第四筛选策略用于根据所述待处理文本数据的文本总长度进行筛选。

8.一种电子设备，其特征在于，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。