[发明专利]基于观察的查询解释模型修改

摘要

用于解释自然语言查询的自然语言解释模型的修改。该系统发现一个或多个查询方对一个或多个自然语言查询的一个或多个原始查询结果所作出的用以生成一个或多个经修改的查询结果的修改。该系统随后使用该发现来标识对自然语言解释模型的一个或多个改变，上述改变(在给定相同自然语言查询的情况下)将产生更准确地反映一个或多个经修改的查询结果的一个或多个查询结果。该系统促使该自然语言解释模型利用该一个或多个所标识的改变中的至少一个改变被修改。相应地，该自然语言解释模型可以随着时间而从对其自己性能的观察进行学习。

主权项

1.一种计算机可读存储介质，所述计算机可读存储介质具有被存储于其上的计算机可执行指令，所述计算机可执行指令由计算机系统的一个或多个处理器可执行，以促使所述计算机系统修改用于自然语言查询的自然语言解释模型，所述计算机可执行指令包括可执行以促使所述计算机系统至少执行以下各项的指令：从查询方接收第一自然语言查询；响应于接收到所述第一自然语言查询，生成第一组查询结果；向所述查询方发送所述第一组查询结果；从所述查询方接收第二查询，所述第二查询包括已经被所述查询方修改的所述第一自然语言查询的经修改的版本；响应于接收到所述第二查询，生成第二组查询结果；在所述第二查询内标识所述查询方对所述第一自然语言查询作出的一个或多个修改；基于所标识的所述查询方对所述第一自然语言查询作出的所述一个或多个修改，标识对自然语言解释模型的一个或多个改变，所述一个或多个改变在接收到与所述第一自然语言查询相同的查询时将产生与所述第一组查询结果相比更准确地反映所述第二组查询结果的查询结果，所标识的所述一个或多个改变中的至少一个改变被标识为仅应用于特定查询方或特定查询方群组，使得在对应于所标识的所述一个或多个改变中的所述至少一个改变的所述自然语言解释模型的修改被作出时，所述修改将仅被应用于所述特定查询方或所述特定查询方群组，而不是提交查询的每个查询方；以及在所标识的所述一个或多个改变中的至少一个改变超过证据阈值时，在一时间点利用所标识的所述一个或多个改变中的至少一个改变来修改所述自然语言解释模型，其中仅应用于所述特定查询方群组的修改比应用于所有查询方或者仅应用于所述特定查询方的修改包括更高的证据阈值；在所述时间点后接收与所述第一自然语言查询相同的第三查询；以及响应于接收到所述第三查询，生成所述第二组查询结果。