[发明专利]一种实时搜索在线泛化方法

摘要

本发明公开一种实时搜索在线泛化方法，首先输入一个搜索问题，状态的集合为S，给定记忆M和一种状态x并计算记忆近似值，建立蒙特卡洛树搜索模型，进行算法迭代，通过选择权函数的近似值w＝f_τ(‑c).，将M的每一个入口与一种特定条件s∈S相关联，其包含状态的特征表示φ(s)和模拟统计N(s)，访问M包含三种操作：更新、添加与查询，将蒙特卡洛树进行记忆增强，在树搜索期间，使用取代作为状态s的值，本发明解决了原始的蒙特卡洛树搜索在相对有限的搜索时间内产生不准确近似值估计的问题。

主权项

1.一种实时搜索在线泛化方法，其特征在于，该方法包括以下步骤：步骤1，输入一个搜索问题，其所有可能的状态的集合为S；N_s表示从状态s开始模拟的数量，V*(s)表示一个状态s的真实值；R_s，t表示模拟结果，用表示每一个状态s∈S在模拟中的数值估计；步骤2，给定记忆M和一种状态x，根据距离尺度d(·,x)M近似描述通过上述方法计算出一种基于记忆的数值估计：并且满足其中，表示权函数，M是根据距离度量d(·,x)定义记忆结构中相邻状态的限制条件；步骤3，建立蒙特卡洛树搜索模型，将树中的每个节点对应具体的状态s∈S，并包含模拟统计值和模拟数量N(s)，进行算法迭代时，每个模拟从初始状态s0状态开始进入树上阶段和回滚阶段，在搜索树特征状态变为st时，通过老虎机算法选择进入下一个状态；步骤4，用距离函数d(s,x)近似估计V*(s)和V*(x)之间的差异，状态s、x∈S用函数φ:S→R^D来表示,近似得到w＝f_τ(‑c).S表示深度卷积神经网络的内层，RD表示采用哈西函数标准化后的深度卷积神经网络的内层，w表示权函数的近似，τ表示平滑因子，c表示矢量ci＝δ_i+ε_i，x，1≤i≤M，将状态s的近似值估计误差表示为：将状态s和状态x的真实值之间的差异表示为：ε_s，x＝|V*(s)‑V*(x)|，其中V*(x)表示状态x的真实值；步骤5，将φ(s)、N(s)的每个入口与特定条件s∈S相关联，进行更新、添加与查询。φ(s)表示M包含状态的特征，表示模拟估计值，N(s)表示模拟数量；步骤6，将蒙特卡洛树搜索结合记忆，在蒙特卡洛树搜索的树搜索期间，使用取代作为状态s的模拟估计值，λs表示延迟参数，确保不存在非对称的偏差，当搜索到一个叶状态时，生成一个特征表示函数，即φ(s)，然后将其用于询问记忆M的近似值从而更新s的所有过去状态。