[发明专利]基于表格问答的自然答案生成系统及其方法

说明书

本发明涉及基于表格问答的自然答案生成系统及方法，数据预处理模块，对用户提出的问题文本进行中文分词、正则去模糊处理；文本编码模块，将用户提出的问题文本与知识库实体转化为计算机形式的数据类型和计算单元；结构化查询语句生成模块，根据文本编码生成问题对应的结构化查询语句；自然答案生成模块，根据生成的结构化查询语句进行自然答案的生成，包含主语生成、谓语生成和宾语生成。采用正则化表达式和中文分词，对问题文本与知识库实体进行语义填充完善；采用预训练模型，对问题文本与知识库实体进行语义表示；利用槽位填充，将语义表示转换为完整的结构化查询语句，基于结构化查询语句，生成自然答案。

技术领域

本发明涉及一种基于表格问答的自然答案生成系统及其方法。

背景技术

目前，人工智能技术高速发展，迫切需要利用现有的技术真正的解决人类社会现实生活中的问题，才能真正从技术之中获益。表格问答产生于当前表格知识库泛滥，需要通过问答技术实现信息检索与整合的背景下，其中表格知识库包含大量来自不同领域的知识，可以提升表格知识库的记过效率，通过结构化查询语句在知识库上的执行结果作为问答结果的输入；因而基于表格问答的自然答案生成是其重要扩展。评判一个问答结果是否被问答用户接纳，包括两个方面的评价：首先是机器评价，根据自然答案生成要素进行评价，分别设置主-谓-宾三种要素，评价包含主语生成准确度、谓语生成准确度、宾语生成准确度；其次是人工评价，人工评价来自流利性评测、一致性评测、多样性评测三个方面，以此进行答案生成评价，流利性代表答案语句是否通畅流利，具有良好的可读性；一致性评价代表答案语句是否与问题文本的方向相关联；任务的重点是面向问题文本的结构化查询语句的生成。与英语相比，汉语问题文本编码任务更加复杂，由于分词等因素影响其难度较大；并且目前的表格问答无论是英文或者中文语境中都是在通用语料库上进行，对于自然答案生成基本上没有应用。

基于表格问答的自然答案生成的主要技术方法分为：基于槽位填充的方法、基于结构化查询语句执行结果的方法，基于槽位填充的方法多采用语言学专家手工构造文本模板，选用主-谓-宾等槽位模式，配合以文本分类，与SQL在数据库的执行结果作为槽位独享的填充。

基于结构化查询语句执行结果的方法，实际将生成完整的结构化查询语句在在数据库中执行结果作为自然答案，即为NL2SQL任务，该任务不需要广博的数据库知识，并且可以在较短时间内完成，基于结构化查询语句执行结果的方法是基于表格问答的自然答案生成中最早使用的方法。

发明内容

本发明的目的是克服现有技术存在的不足，提供一种基于表格问答的自然答案生成系统及其方法。

本发明的目的通过以下技术方案来实现：

基于表格问答的自然答案生成系统，特点是：包含数据预处理模块、文本编码模块、结构化查询语句生成模块以及自然答案生成模块；所述数据预处理模块，对用户提出的问题文本进行中文分词、正则去模糊处理；

所述文本编码模块，将用户提出的问题文本与知识库实体转化为计算机形式的数据类型和计算单元；

所述结构化查询语句生成模块，根据文本编码生成问题对应的结构化查询语句，包含SELECT子句生成和WHERE子句生成；

所述自然答案生成模块，根据生成的结构化查询语句进行自然答案的生成，包含主语生成、谓语生成和宾语生成。

进一步地，上述的基于表格问答的自然答案生成系统，其中，所述数据预处理模块包含正则表达处理模块和中文分词模块；所述正则表达处理模块，面向问题文本，采用正则表达式将模糊的数字实体转化为符合知识库存储形式的实体，模糊数字实体包含年份模糊实体、百分比模糊实体和数字模糊实体；所述中文分词模块，面向用户提出的中文问题文本，将文本中的词语进行切分，采用分词工具，得到一串词汇序列。