[发明专利]面向SaaS人工智能应用的图灵测试方法、装置和系统

权利要求书

1.一种面向SaaS人工智能应用的图灵测试方法，其特征在于，包括步骤：

接收用户端发送的提问数据；

根据所述提问数据从问答知识库中召回多个备选问题及对应回答；

将所述备选问题中与所述提问数据中的问题相似度最高的备选问题确定为目标问题，将所述目标问题对应的目标回答返回给所述用户端；所述目标回答用于指示所述提问数据的回答信息；

向所述用户端发送回答有效性问卷；所述回答有效性问卷用于指示所述目标回答对所述提问数据的有效性；

接收所述用户端返回的问卷结果并进行有效性统计；

若有效性统计结果中有效占比大于30%，则确定当前SaaS人工智能应用通过图灵测试。

2.根据权利要求1所述的面向SaaS人工智能应用的图灵测试方法，其特征在于，根据所述提问数据从问答知识库中召回多个备选问题及对应回答的步骤，包括：

对所述提问数据中的问题进行句子向量化操作；

根据所述句子向量化操作后的问题，采用近似最近邻向量检索算法从所述问答知识库中召回多个所述备选问题及对应回答。

3.根据权利要求1或2所述的面向SaaS人工智能应用的图灵测试方法，其特征在于，将所述备选问题中与所述提问数据中的问题相似度最高的备选问题确定为目标问题的过程，包括：

采用预训练语言模型，通过文本语义相似度算法对所述提问数据中的问题与召回的多个所述备选问题进行语义相似度匹配处理；

选取语义相似度最高的备选问题作为所述目标问题。

4.根据权利要求3所述的面向SaaS人工智能应用的图灵测试方法，其特征在于，所述方法还包括步骤：

若所述提问数据中的问题在所述问答知识库中无相似问题，则保存所述提问数据中的问题。

5.根据权利要求1所述的面向SaaS人工智能应用的图灵测试方法，其特征在于，所述方法还包括步骤：

将所述有效性统计结果发送至研发终端；

接收所述研发终端返回的测试结果文件；所述测试结果文件包括图灵测试通过的确认或系统更新文件；

若所述测试结果文件为系统更新文件，则利用所述系统更新文件进行系统更新升级。

6.根据权利要求4或5所述的面向SaaS人工智能应用的图灵测试方法，其特征在于，所述问卷结果包括有用、无用或改进反馈意见数据；所述改进反馈意见数据用于发送至研发终端。

7.一种面向SaaS人工智能应用的图灵测试方法，其特征在于，包括步骤：

向智能服务端发送提问数据；所述智能服务端部署有SaaS人工智能应用；

接收所述智能服务端返回的目标回答；所述目标回答用于指示所述提问数据的回答信息；

接收所述智能服务端发送的回答有效性问卷；所述回答有效性问卷用于指示所述目标回答对所述提问数据的有效性；

获取对所述回答有效性问卷输入的问卷结果并发送至所述智能服务端；所述问卷结果用于指示所述智能服务端进行有效性统计，所述有效性统计的结果用于指示所述SaaS人工智能应用是否通过图灵测试。

8.根据权利要求7所述的面向SaaS人工智能应用的图灵测试方法，其特征在于，向智能服务端发送提问数据的步骤，包括：

在显示的交互界面中读取对虚拟智能助教输入的提问问题；所述虚拟智能助教为所述SaaS人工智能应用在上述交互界面中的身份展示；

接收到输入的发送指令后，生成所述提问问题对应的所述提问数据并发送至所述智能服务端。