[发明专利]一种基于强化学习的内存地址映射方法

说明书

本发明公布了一种基于强化学习的内存地址映射方法，建立基于地址映射矩阵BIM交换的强化学习神经网络模型，并使用策略梯度的方法有效地训练模型，通过强化学习对不同的程序自动找到内存地址映射。采用本发明提供方法，可以对不同的程序自动找到最合适的映射方法，能够克服现有方法不能根据不同的程序自动做出调整，且需要依靠专业人士的经验来设计，不能达到自动的效果的不足。

技术领域

本发明涉及内存地址的映射方法，具体涉及一种基于强化学习的内存地址映射方法，可根据不同应用特点使用不同的内存地址映射，提高访存的性能。

背景技术

软件程序中使用的地址为逻辑地址，而访问内存时实际需要的地址则为物理地址。因此，当程序用逻辑地址访问内存时，需要按照一定的映射关系，将逻辑地址先转换为物理地址。这一步地址转换操作是由内存控制器完成的，即程序运行时将需要访问的逻辑地址发到内存控制器，内存控制器根据一定的映射关系将它转换成物理地址，然后用物理地址访问内存。

内存控制器采用不同的地址映射策略会对访存的性能造成很大影响。原因与内存的组织结构有关。内存被组织为很多个bank，bank之间是可以并行工作的，每个bank有很多行(row)，每行有很多列(column)。如果内存访问都被映射到了少量的几个bank内的物理地址，则其他本来可以并行工作的bank就没有被充分利用，自然会导致性能的下降。而如果对于同一个bank的访问经常需要跨不同的行，则行与行之间的切换也会造成非常大的开销。以上这些因素导致了，如何进行恰当的地址映射一直是个很重要的问题。

现有的地址映射方法基本都是根据经验设计的，缺乏根据当前情况进行灵活调整的能力。例如，Xilinx memory interface generator(mig,https://www.xilinx.com/products/intellectual-proper ty/mig.html)中提供的BRC(Bank-Row-Column)的内存地址映射方式是固定将逻辑地址的高位映射到物理地址的bank ID,低位映射到物理地址的column ID，中间的位映射到物理地址的row ID；Row-Bank-Column则固定将逻辑地址的高中低位分别映射到物理地址的row ID，bank ID，column ID。这样固定的映射方法对于某些程序可能比较高效，但对于另一些程序则效果不佳，不能自动抓住程序的特点定制地址映射策略。

发明内容

本发明的目的是提供一种基于强化学习的内存地址映射方法，通过新的内存地址映射方法，使得对于给定的程序，可通过强化学习自动找到合适的地址映射方法。

为了便于说明，本文约定：“BIM”(binary invertible matrix)表示用于地址映射的矩阵，即内存的物理地址(向量)＝BIM(内存地址映射矩阵)*内存逻辑地址(向量)。

本发明的核心是：本发明是一种基于强化学习的地址映射方法，通过强化学习自动找到合适的地址映射。采用本发明提供方法，采用基于BIM的交换建立模型，并使用策略梯度的方法有效地训练模型，可以对不同的程序自动找到最合适的映射方法，能够克服现有方法不能根据不同的程序自动做出调整，且需要依靠专业人士的经验来设计，不能达到自动的效果的不足。对于给定的程序，首先初始化地址映射矩阵BIM，随机初始化用于强化学习的神经网络模型。之后，每次将BIM输入该神经网络，该神经网络会选择BIM的两行进行交换，用交换后的BIM运行该程序，和交换前的性能进行比较。如果使用交换后的BIM运行的性能更好，则用交换后的BIM替换之前的BIM。此外，每次交换后都使用策略梯度(policygradient)的方法更新神经网络模型。多次重复交换BIM的两行运行程序的迭代过程，直到性能收敛或达到指定的迭代次数，就得到了合适的内存地址映射方法。

本发明提供的技术方案如下：

一种基于强化学习的内存地址映射方法，包括如下步骤：

1)建立内存地址映射神经网络模型；