[发明专利]网络文本数据内容探测高速处理方法

说明书

技术领域：

本发明涉及网络文本分类技术，特别涉及一种利用可编程逻辑器件从网络文本中抽取出用于分类的特征，然后利用分类技术给出其类别并进行相应处理的网络文本数据内容探测高速处理方法。

背景技术：

目前，互联网技术已渗透到人们的生活中，给人们带来了极大的便利。例如，人们在家里通过网络了解各种信息，包括国际国内发生的大事，以及日常生活用品价格等。同时，通过网络也传播了许多色情、暴力、非法广告等信息，不利于未成年学生(7-17岁)的健康成长。文本作为网络传输信息的重要载体，对未成年学生的影响更大。例如，浏览黄色网页，收到黄色短信，将使未成年学生变坏，甚至犯罪。如何在不妨碍网络正常使用的情况下，保护好青少年的身心健康，是一个亟需解决的重大问题。

网络路由和交换设备是能够控制网络用户的浏览内容，它通过事先设定一些网站黑名单(即网站的IP地址)，让网络用户不能够访问黑名单中的网页，在一定程度上可保护青少年的身心健康。例如，家长可预先设定一些黄色网页黑名单，让孩子访问不到这些网页。但这种人工事先设定黑名单的方法存在如下问题：

1)对黄色网页的覆盖率不够，很难有效果。因为该方法需要人工事先去浏览网页，确定那些是黄色和健康网站。这就很难把所有不良网站收集齐全。而某一个漏网的不良网站就可能对孩子的身心健康造成伤害。

2)不具有动态设置黑名单的功能，不适应真实情况。为了躲避检查，一般不良网站的IP地址经常在变化。

3)内容无法自由定制，不同年龄段，不同文化背景的人对色情内容的理解也不尽相同，统一提供的内容无法满足所有人的需求，人们也无法对内容进行编辑更改，满足自己的需要；

4)隐私保护差，用户在定制服务后，自动连接服务器，全程监视用户行为，用户无法根据自身的需要来开关服务，个人隐私得不到保护。

5)社交网络信息无法保护，现在不少人利用QQ、MSN等社交网络工具来进行色情聊天或发布色情信息，而这些工具都没有具体的IP地址，无法添加进黑名单进行保护。

发明内容：

本发明专利的目的在于提供一种利用可编程逻辑器件，能够根据网络文本自动判别其类别良与不良，并能根据判定出的类别动态的对网络文本进行管控，保护好青少年的身心健康的网络文本数据内容探测高速处理方法。

为了实现上述目的，本发明提出如下技术方案实现：

网络文本数据内容探测高速处理系统，包括通过互联网与内容处理云服务器相连的内容处理终端设备，所述内容处理终端设备与至少一台数据终端相连，数据终端上安装控制台。

所述内容处理终端设备包括通过至少一个连接器与互联网相连的可编程逻辑器件，所述可编程逻辑器件分别与储存器、闪存器连接。

所述可编程逻辑器件包括至少一个内置的网卡，用于输入、输出数据；内置的控制处理部件，用于设置IP地址黑名单、复制由网卡发送来的网包数据；内置的网络内容处理部件，用于比较从控制部件发送来的网包数据。

所述网络内容处理部件包括内置的网络协议内容解析部件，用于将网络数据包通过包重组，还原为文本；内置的文本特征抽取部件，采用简化的分词技术从文本中提取特征；内置的特征扩展部件，对少于100字的短文本进行扩展处理；内置的文本分类部件，给出文本类别。

网络文本数据内容探测高速处理方法，包括以下步骤：

步骤a，储存器从闪存器中复制所需词典；

步骤b，网卡将网包数据发送至控制处理部件；

步骤c，控制处理部件根据网包数据的内容进行分类处理：相关数据包发送至网络内容处理部件；其他数据包直接转发至网卡中通过；

步骤d，网络内容处理部件内的网络协议内容解析部件接受从控制处理部件发来的相关数据包，并将相关数据包通过包重组，还原为文本，发送至文本特征抽取部件；

步骤e，文本特征抽取部件接受文本后，从储存器中调用相应词典对文本进行查找；查找结果输出为特征词语列表、非特征重要词语列表；

步骤f，特征扩展部件从储存器中调用相应词典对非特征重要词语列表进行查找、扩展处理，将非特征重要词语列表转换为特征词语列表+折算系数；

步骤g，文本分类部件将步骤e中的特征词语列表、步骤f中的非特征重要词语列表进行扩展、合并处理得到特征词语列表+折算系数，从储存器中调用对应类别的词典进行查找处理，并得出权重，采用折算系数×权重得到处理结果，并将结果进行累加，根据累加的结果进行类别判定：如果为不良文本，则进行过滤、预警处理；如果为正常文本，则转发至网卡中通过。