[发明专利]一种实时搜索在线泛化方法

说明书

本发明公开一种实时搜索在线泛化方法，首先输入一个搜索问题，状态的集合为S，给定记忆M和一种状态x并计算记忆近似值，建立蒙特卡洛树搜索模型，进行算法迭代，通过选择权函数的近似值w＝f_τ(‑c).，将M的每一个入口与一种特定条件s∈S相关联，其包含状态的特征表示φ(s)和模拟统计N(s)，访问M包含三种操作：更新、添加与查询，将蒙特卡洛树进行记忆增强，在树搜索期间，使用取代作为状态s的值，本发明解决了原始的蒙特卡洛树搜索在相对有限的搜索时间内产生不准确近似值估计的问题。

技术领域

本发明涉及一种实时搜索在线泛化方法，属于机器博弈、计算机搜索技术领域。

背景技术

实时搜索是对一些信息进行即时、快速搜索，实现即搜即得的效果，所谓“实时搜索”实际是一种人们对于信息实时获取的美好愿望，通过努力我们可以无限接近于搜索的实时实现，目前，很多人都意识到了实时搜索的重要性，目前各大搜索引擎都在致力于实时搜索的实现，网络环境将越来越变得实时化，只要网络技术存在，实时将持续发展，实时搜索的问世使得网络环境将越来越变得实时化、便捷化、简单化，通过实时搜索服务，用户可以快速得到新鲜的第一手草根信息，对国内外事件可以更快速的进行第一时间了解。

随着人工智能技术的快速发展，蒙特卡洛树搜索作为一种人工智能问题中做出最优决策的方法受到越来越多的关注。蒙特卡洛树搜索是在完美信息博弈场景中进行决策的一种通用技术，除游戏之外，它还在很多现实世界的应用中有着广阔前景，因此，可以将蒙特卡洛树搜索方法与实时搜索方法相结合，提出并评估基于记忆结构值逼近的蒙特卡洛树搜索，为在线实时搜索提供了一种新的通用化方法。

鉴于此，本发明提出一种实时搜索在线泛化方法，该方法结合普通蒙特卡洛树搜索与实时搜索方法，为在线实时搜索提供了一种新的通用化方法，M-蒙特卡洛树搜索的主要思想是将蒙特卡洛树搜索与一个记忆结构合并，每个入口包含特定状态的信息，记忆被用来通过组合类似状态的估计来产生近似值估计，在温和条件下，基于记忆的值近似优于具有高概率的普通蒙特卡洛估计，解决原始蒙特卡洛树搜索在相对有限的搜索时间内产生不准确的估计的问题。

发明内容

技术问题：本发明的目的在于提供一种基于记忆增强与蒙特卡洛树搜索的实时搜索在线泛化方法，有效解决原始蒙特卡洛树搜索在相对有限的搜索时间内产生不准确的估计的问题。

技术方案：为实现上述目的，本发明提供了一种基于记忆增强与蒙特卡洛树搜索的实时搜索在线泛化方法，该方法包括以下步骤：

步骤1，输入一个搜索问题，其所有可能的状态的集合为S；N_s表示从状态s开始模拟的数量，V*(s)表示一个状态s的真实值；R_s，t表示模拟结果。用表示每一个状态s∈S在模拟中的数值估计。

步骤2，给定记忆M和一种状态x，根据距离尺度d(·,x)M近似描述通过上述方法计算出一种基于记忆的数值估计：

并且满足

表示权函数，M是根据距离度量d(·,x)定义记忆结构中相邻状态的限制条件。

步骤3，建立蒙特卡洛树搜索模型，将树中的每个节点对应具体的状态s∈S，并包含模拟统计值和模拟数量N(s)，进行算法迭代时，每个模拟从初始状态s0状态开始进入树上阶段和回滚阶段，在搜索树特征状态变为st时，通过老虎机算法选择进入下一个状态；