[发明专利]一种基于互动问答社区-百度知道的地理位置实体的完整性表达方法

摘要

本发明涉及一种基于互动问答社区‑百度知道的地理位置实体的完整性表达方法，包括以下步骤：步骤1)：通过数据处理提取缺陷地理位置实体defectLoc；步骤2)：对提取的defectLoc生成问题：“某defectLoc属于哪个区”，通过百度知道进行检索；步骤3)：根据检索的结果提取特征，计算defectLoc属于各个区域的得分，并构建出defectLoc的所属区域特征向量；步骤4)：利用规则对defectLoc进行完整化处理。本发明以微博城市投诉文本为基础，针对其中的地理位置实体表达不规范、非结构化的特点，使得工作人员很难进行统计分析工作，本发明提出一种基于百度知道的地理位置实体的完整性表达方法，对缺陷地理位置实体完整化具有较高的准确率，可以很好地满足实际应用的需要。

主权项

1.一种基于互动问答社区-百度知道的地理位置实体的完整性表达方法，其特征在于，包括以下步骤：/n步骤1)：通过数据处理提取缺陷地理位置实体；其中，缺陷地理位置实体为区域缺失或者区域模糊的地理位置实体，记为defectLoc；/n步骤2)：对步骤1)提取的defectLoc生成问题：“某defectLoc属于哪个区”，通过百度知道进行检索；/n步骤3)：根据步骤2)检索的结果提取特征，计算defectLoc属于各个区域的得分，并构建出defectLoc的所属区域特征向量；/n所述步骤3)具体为：/n缺失地理位置实体defectLoc属于区域i的得分Score(area_i|defectLoc)，计算公式如公式(10)所示：/n /n其中RowScore(QA_j，area_i)为第j条QA所属于区域i的得分，计算公式如公式(11)所示：/nRowScore(QA_j，area_i)/n ＝ScoreA(QA_j，area_i)×simq_j×(1+Rec(j))/n ×(1+ScoreI(QA_j，Agree))×(1+ScoreT(time_j))/n ×(1+Pos(j)) (11)/n根据defectLoc所有区域area的分数值Score，最终构建出defectLoc的得分特征向量/n{/nScore(area₁|defectLoc)，Score(area₂|defectLoc)，...，Score(area₁₆|defectLoc)/n}；/n其中，i为正整数，且1≤i≤16；/n步骤4)：利用规则对defectLoc进行完整化处理，实现地理位置实体完整性表示；/n所述步骤1)具体为：/n步骤A：分析已识别的地理位置实体，判断其是否存在区域信息，存在则退出；不存在转到步骤B；/n步骤B：定位原微博，通过NLPIR进行原始微博的词语切分，并将所有@的内容提取出来组成@数组，判断数组中是否存在唯一区域信息，存在则补全该defectLoc，将其过滤；不存在转到步骤C；/n步骤C：提取待处理的defectLoc，组成defectLoc集合；/n所述步骤3)中提取的特征具体为：/n特征一：内容特征；/n特征二：百度知道特征；/n特征三：搜索反馈特征；/n所述特征一具体为：/n(1)反馈的问答对是否存在区域信息；/n区域的得分ScoreA如公式(1)所示：/nScoreA(QA_j，area_i)/n ＝(1-λ)×(area_i/10)+λ×(area_i％10) (1)/n其中i为第i个区域，j为百度知道反馈的第j个问答对，λ为答案中出现区域信息的权重，λ＝0.7；area_i计算如公式(2)(3)所示：/n /n /n其中，QA为百度知道反馈的问答对；/n(2)问题相似度集合；/n问题相似度集合记为Simq＝{simq₁，simq₂，…，simq₁₀}，其中，simq_1-10为提出的问题tq与百度知道反馈的问答对QA集合中每个问题的相似度，其计算公式如公式(4)所示：/n /n其中A、B是两个n维向量，A是[A1，A2，…，An]，B是[B1，B2，…，Bn]，A_i与B_i表示同一字符分别在A、B中出现的频度，n为A、B中所有不重复的单个字符；/n所述特征二具体为：/n(1)是否为推荐答案；/n /n其中，表示推荐答案的权重，/n(2)赞次数；/nScoreI(QA_i，Agree)＝θ×count(QA_i，Agree) (6)/n其中θ为每个赞的权值，θ＝0.1，count(QA_i，Agree)为第i个QA中的赞数；/n(3)回答时间；/n对回答时间做限制，单位为年，计算公式如公式(7)(8)所示：/ntime_i＝Now-AnsTime_i (7)/n /n其中i为第i个QA，Now为现在的时间，AnsTime为回答问题的时间；/n所述特征三具体为：/n将反馈结果的前3个查询结果看成权重相同的，后面结果随着排名的增加权重逐渐降低，具体分布如公式(9)所示，其中i为第i个QA对；/n /n所述步骤4)中规则具体为：/n规则1：对于明确地理位置实体，存在两种情况，第一、如果检索结果中只含有一个区域信息，则此区域信息为defectLoc的区域信息；第二、如果存在Max(P(area_i|defectLoc))≥γ，此area_i为defectLoc的区域信息；其中γ＝0.5；/n其中明确地理位置实体为检索结果中出现且只出现一个区域，或者Max(P(area_i|defectLoc))≥γ的defectLoc，记为clearLoc；其中概率计算公式如式(12)所示：/n /n规则2：对于歧义地理位置实体，利用countLoc对defectLoc进行消歧；其中countLoc为统计每个区域的个数，一条QA中出现多个相同的区域信息，按一次计算，最终得到Max(countLoc|area_i)，则defectLoc的区域信息为area_i；如果Max(countLoc|area_i)存在2个或2个以上的区域，取第一个Max(countLoc|area_i)的区域信息；/n其中歧义地理位置实体为检索结果中出现了多个区域且Max(P(area_i|Location))＜γ的defectLoc，记为ambiguityLoc；/n规则3：对于零地理位置实体，无法进行区域补全操作；/n其中零地理位置实体为检索结果中未出现区域信息的defectLoc，记为zeroLoc。/n