[发明专利]网页数据处理方法和装置、查询处理方法及问答系统

说明书

本发明实施例公开了一种网页数据处理方法和装置、查询处理方法及问答系统。所述网页数据处理方法包括：对离线网页中的句子进行语义结构分析，以得到浅层知识；计算所述浅层知识的置信度；根据所述置信度对所述浅层知识建库，得到浅层知识库。提高了查询结果的准确性。

技术领域

本发明实施例涉及数据搜索技术领域，尤其涉及一种网页数据处理方法和装置、查询处理方法及问答系统。

背景技术

随着互联网技术的蓬勃发展，人们的生活和工作越来越离不开网络搜索。

目前，网络搜索主要由搜索引擎来实现。搜索引擎对于查询，搜索出的结果都是包含有查询语句部分或全部内容的网页。对于问答类型的查询即查询语句为问题的查询，这样的搜索结果很难给出正确的答案。如用户需求并不是寻找和query的语句字面相关的网页，而是希望搜索引擎直接回答出问题的答案，如：“宝马是哪个国家的”、“新版笑傲江湖任盈盈给令狐冲疗伤的曲子”。针对这样的查询，目前的搜索引擎只能给出和查询问题相关的网页，比较理想的结果是返回相关的问答网页，但仍然需要用户点击进入网页自行寻找答案，得到答案的效率低。同时由于互联网中的网页数据难以保证很高的权威性，甚至存在大量的垃圾和噪音，使得用户自行寻找答案的可靠性也降低。

发明内容

有鉴于此，本发明实施例提出一种网页数据处理方法和装置、查询处理方法及问答系统，以提高查询结果的准确性。

第一方面，本发明实施例提供了一种网页数据处理方法，包括：

对离线的网页中的每个句子进行结构语义分析，得到浅层知识，其中，所述浅层知识为包含有实体信息以及实体之间关系的数据；

确定所述浅层知识的置信度；

根据所述置信度对所述浅层知识建库，得到浅层知识库。

第二方面，本发明实施例还提供了一种查询处理方法，包括：

对输入的查询语句进行语法分析，得到所述查询语句的结构语义表示；

根据所述查询语句的结构语义表示，从浅层知识库中得到候选答案，其中，所述浅层知识库根据置信度对浅层知识建库得到，所述浅层知识为包含有实体信息以及实体之间关系的数据；

对所述候选答案进行合理性验证，得到最终答案。

第三方面，本发明实施例还提供了一种网页数据处理装置，包括：

语义分析模块，用于对离线的网页中的每个句子进行结构语义分析，得到浅层知识，其中，所述浅层知识为包含有实体信息以及实体之间关系的数据；

置信度确定模块，用于确定所述浅层知识的置信度；

建库模块，用于根据所述置信度对所述浅层知识建库，得到浅层知识库。

第四方面，本发明实施例还提供了一种查询处理装置，包括：

语义分析模块，用于对输入的查询语句进行语法分析，得到所述查询语句的结构语义表示；

候选答案确定模块，用于根据所述查询语句的结构语义表示，从浅层知识库中得到候选答案，其中，所述浅层知识库根据置信度对浅层知识建库得到，所述浅层知识为包含有实体信息以及实体之间关系的数据；

验证模块，用于对所述候选答案进行合理性验证，得到最终答案。

第五方面，本发明实施例还提供了一种问答系统，包括：上述网页数据处理装置和上述查询处理装置；

所述网页数据处理装置用于离线建立浅层知识库；