[发明专利]压缩文本检测方法和装置

权利要求书

1.一种压缩文本检测方法，其特征在于，包括：

获取待检测的压缩文本；

对所述压缩文本进行模式匹配，获取输出序列；

根据所述输出序列和已建立的特征命中概率计算模型，计算所述压缩文本的特征命中概率，并根据所述特征命中概率得到所述压缩文本对应的向量；

根据所述向量和已建立的分类模型，确定所述压缩文本属于的类别；

所述根据所述输出序列和已建立的特征命中概率计算模型，计算所述压缩文本的特征命中概率，并根据所述特征命中概率得到所述压缩文本对应的向量，包括：将所述输出序列作为所述特征命中概率计算模型的当前时刻的观察状态序列，并根据各个时刻的观察状态序列和所述特征命中概率计算模型的参数，计算所述压缩文本完整命中每种特征串的概率；将压缩文本完整命中每种特征串的概率组成向量，作为所述压缩文本对应的向量。

2.根据权利要求1所述的方法，其特征在于，所述压缩文本包括：gzip格式的压缩文本，获取待检测的压缩文本之后，所述方法还包括：

对所述gzip格式的压缩文本进行huffman转码处理，得到LZ77格式的压缩文本，以便对所述LZ77格式的压缩文本进行模式匹配。

3.根据权利要求1或2所述的方法，其特征在于，还包括：建立特征命中概率计算模型，当所述特征命中概率计算模型的类型是隐马尔科夫模型时，所述建立特征命中概率计算模型包括：

获取压缩文本样本；

对所述压缩文本样本进行模式匹配，获取样本输出序列；

根据所述样本输出序列得到观察状态序列，并对所述观察状态序列进行训练，确定特征命中概率计算模型的参数，并得到具有所述参数的特征命中概率计算模型。

4.根据权利要求3所述的方法，其特征在于，所述根据所述输出序列和已建立的特征命中概率计算模型，计算所述压缩文本的特征命中概率，并根据所述特征命中概率得到所述压缩文本对应的向量，包括：

将所述输出序列作为所述特征命中概率计算模型的当前时刻的观察状态序列，并根据各个时刻的观察状态序列和所述特征命中概率计算模型的参数，计算所述压缩文本完整命中每种特征串的概率；

将压缩文本完整命中每种特征串的概率组成向量，作为所述压缩文本对应的向量。

5.根据权利要求1或2所述的方法，其特征在于，还包括：建立分类模型，当所述分类模型的类型是SVM模型时，所述建立分类模型包括：

根据已建立的特征命中概率计算模型和压缩文本样本，获取压缩文本样本对应的向量；

根据压缩文本样本已知的类别，为压缩文本样本标注类别标签；

将压缩文本样本对应的向量和类型标签作为训练数据，对训练数据进行训练，确定分类模型的参数，并得到具有所述参数的分类模型。

6.根据权利要求1所述的方法，其特征在于，所述输出序列包括：

所述压缩文本完整命中的特征串的序号，以及，所述压缩文本部分命中的特征串中所命中部分的字符序列。

7.根据权利要求3所述的方法，其特征在于，所述获取压缩文本样本，包括：

直接收集gzip格式的压缩文本；或者，

如果收集的文本是非压缩文本，将所述收集的文本压缩为gzip格式的压缩文本；或者，

如果收集的文本是非gzip格式的压缩文本，则对所述收集的文本解压缩，再将解压缩后的收集的文本压缩成gzip格式的压缩文本。

8.根据权利要求3所述的方法，其特征在于，在训练特征命中概率计算模型过程中，将隐马尔科夫模型的隐含状态数设置为当前所命中部分的字符串的长度加上预设常量。

9.根据权利要求4所述的方法，其特征在于，所述压缩文本完整命中每种特征串的概率根据所述压缩文本在各个时刻完整命中相应特征串的概率计算得到，其中，所述压缩文本在各个时刻完整命中相应特征串的概率根据相应时刻所命中部分为特征串的前缀或后缀，根据各个时刻的观察状态序列和所述特征命中概率计算模型的参数，选择不同的运算公式计算得到。