[发明专利]一种基于规则与词典的监狱犯人短信自动审核方法

权利要求书

1.一种基于规则与词典的监狱犯人短信自动审核方法，其特征在于，包括步骤如下：

1)对短信内容进行预处理；对短信内容进行中文分词；

2)利用短信审核规则对短信内容进行初步审核；所述短信审核规则包括：

2.1)重复短信：对同一监狱犯人在两天内发送或接收的内容重复的短信进行拦截；

2.2)无内容短信：对无短信内容的短信进行拦截；

2.3)外文限制：对包含外文的短信进行拦截；

2.4)数字限制：对于短信内数字数量过大的短信进行拦截；判断数字数量过大的标准是，短信中数字的数量超过7个或数字个数占短信总字符个数的比例大于30％；

2.5)钱财限制：对于涉及钱财数目过大的短信进行拦截；涉及钱财数目过大的判断方法为：a、利用正则表达式判断短信内涉及的钱财数目是否超过规定；b、判断中文分词后得到的词组是否包含有关钱财的字眼；

3)利用nGram判断短信是否通顺；

3.1)设短信S由词w₁,w₂,...,w_n顺序排列组成，则短信S出现的概率

P(S)＝P(w₁w₂...w_n)＝P(w₁)P(w₂|w₁)...P(w_n|w₁w₂...w_n-1) (2.1)；

3.2)简化式(2.1)得：P(S)＝P(w₁)P(w₂|w₁)...P(w_n|w_n-1) (2.2)；

3.3)计算P(w_i|w_i-1)，根据大数定律得：

其中，#(w_i-1,w_i)为语料库中w_i-1和w_i前后相邻出现的次数，#(w_i-1)为语料库中w_i单独出现的次数；

3.4)将P(w_i|w_i-1)与阈值p对比，当P(w_i|w_i-1)≥p时，进入步骤4)，否则，拦截短信；

4)利用朴素贝叶斯模型对短信内容进行分类；

首先，对监狱提供的所有短信进行主题标签的人工标定，短信和与短信对应的主题标签共同构成朴素贝叶斯模型的先验样本M₀；根据先验样本M₀建立关键词典；

计算关键词典中的词w为主题i的概率为P_i(w)，其中，#(w)为词w在先验样本M₀中出现的次数,#_i(w)为词w在先验样本M₀所有主题为i的短信中出现的次数；假设各词对短信的影响是互相独立的，新的短信S含有关键词w₁,w₂,...,w_n，关键词w₁,w₂,...,w_n被判为主题i的先验概率为P_i(w₁),P_i(w₂),...,P_i(w_n)，则新的短信S被判为主题i的后验概率为：

P_i(S)＝1-(1-P_i(w₁))(1-P_i(w₂))...(1-P_i(w_n))+P_i(w₁)P_i(w₂)...P_i(w_n) (3.1)

则新的短信S不通过的概率为：

P(S)＝∑P_i(S)，i为禁止通过主题； (3.2)

当P(S)大于阈值W时，拦截该短信。