[发明专利]网页数据处理方法和装置、查询处理方法及问答系统

权利要求书

1.一种网页数据处理方法，其特征在于，包括：

对离线的全网网页中的每个句子进行结构语义分析，对语义关系进行合理性验证后得到浅层知识，其中，所述浅层知识为包含有实体信息以及实体之间关系的数据；

确定所述浅层知识的置信度，其中，通过条件概率和归一化点互信息综合计算出所述浅层知识的置信度；

根据所述置信度对所述浅层知识建库，得到浅层知识库。

2.根据权利要求1所述的方法，其特征在于，对离线的网页中的每个句子进行结构语义分析，包括：

对每个句子进行分词、实体词识别、词性标注以及依存分析；

根据依存分析结果，对片段结构进行识别；

片段内部成分细化，得到句子的核心成分，以及其他成分与核心成分间的关系。

3.根据权利要求2所述的方法，其特征在于，根据依存分析结果，对片段结构进行识别之后，片段内部成分细化，得到句子的核心成分，以及其他成分与核心成分间的关系之前，还包括：

补充片段缺失成分。

4.根据权利要求1-3任一项所述的方法，其特征在于，确定所述浅层知识的置信度之前，所述方法还包括：

对所述浅层知识进行低频知识或低质量过滤、冗余知识过滤和噪音知识过滤中的至少一种过滤。

5.根据权利要求1-3任一项所述的方法，其特征在于，根据所述置信度对所述浅层知识建库，包括：

将所述浅层知识的置信度与预先设定的阈值进行比较；

对滤除置信度小于所述阈值的浅层知识后的剩余浅层知识建库。

6.根据权利要求5所述的方法，其特征在于，对滤除置信度小于所述阈值的浅层知识后的剩余浅层知识建库，包括：

以所述剩余浅层知识中的每个元素为键key，建立倒排索引，倒排索引中存储每条剩余浅层知识的标识ID；

或者，以所述剩余浅层知识的ID为key，以所述剩余浅层知识的正文和置信度为key的值，建立剩余浅层知识的键值对。

7.一种查询处理方法，其特征在于，包括：

对输入的查询语句进行语法分析，得到所述查询语句的结构语义表示；

根据所述查询语句的结构语义表示，从浅层知识库中得到候选答案，其中，所述浅层知识库根据通过条件概率和归一化点互信息综合计算出的置信度对浅层知识建库得到，所述浅层知识为包含有实体信息以及实体之间关系的数据，通过对离线的全网网页中的每个句子进行结构语义分析，对语义关系进行合理性验证后得到；

对所述候选答案进行合理性验证，得到最终答案。

8.根据权利要求7所述的方法，其特征在于，对输入的查询语句进行语法分析，得到所述查询语句的结构语义表示，包括：

找到所述查询语句中的焦点，并识别出所述查询语句的答案类型；

根据所述查询语句的答案类型，对所述查询语句采用语法分析技术，得到所有和所述焦点相关的浅层知识；

确定和所述焦点相关的浅层知识之间的关系。

9.根据权利要求8所述的方法，其特征在于，确定和所述焦点相关的浅层知识之间的关系之前，所述方法还包括：

对所有和所述焦点相关的浅层知识进行实体类型识别、实体扩展和关系识别。

10.根据权利要求7或8所述的方法，其特征在于，根据所述查询语句的结构语义表示，从浅层知识库中得到候选答案，包括：

根据所述查询语句的结构语义表示召回候选的浅层知识片段；

从所述候选的浅层知识片段中确定有所述查询语句的候选答案。

11.根据权利要求7或8所述的方法，其特征在于，对所述候选答案进行合理性验证，得到最终答案，包括：

确定答案个数；

根据答案个数对所述候选答案进行合理性验证，得到最终答案。