[发明专利]数据存储方法、装置及电子设备

说明书

本发明公开了一种数据存储方法、装置及电子设备。涉及计算机技术领域，该方法包括：获取多个存储节点的节点信息，其中，节点信息至少包括多个存储节点的参数信息、数据存储量信息以及状态信息，多个存储节点用于存储数据；基于目标模型对多个存储节点的节点信息进行处理，得到每个存储节点的存储概率值，其中，目标模型是基于多个存储节点的历史节点信息以及当前节点信息进行训练得到的，每个存储节点的存储概率值表征每个存储节点的数据存储量；基于每个存储节点的存储概率值从多个存储节点中确定目标存储节点；将待存储数据存储至目标存储节点中。本发明解决了现有技术中在数据存储时存在的节点数据量分布不均的技术问题。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种数据存储方法、装置及电子设备。

背景技术

随着资产托管平台内的组合基金(简称：组合)数量的逐渐增多，与之对应的组合收益率结果更是呈倍数级上升。将所有数据存储于集中式数据库中面临着数据流量过大或是数据库发生系统故障时引起对数据破坏的风险。

为了规避此类问题，在现有技术中，通常采用分布式数据库。此方法优势在于让数据能够分布在不同的物理位置，目前通常采用哈希的分布式存储方法，例如简单哈希算法和一致性哈希算法，这两种方法的优势是一但部分节点失效，只需要对这些节点存储的部分数据移动至去除某失效节点的下一个有效节点，具有良好的可扩展性与容错性。

虽然简单哈希法和一致性哈希法在对大量组合进行分区存储时具有简单、快速的优点，但是主节点在确定将某组合收益结果存储在某一节点时，并不会考虑该节点的本身状态或其他因素。并且当节点较少时，会因节点的分布不均而产生数据倾斜，并且无法从历史存储信息中改进存储方法提升效率。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据存储方法、装置及电子设备，以至少解决现有技术中在数据存储时存在的节点数据量分布不均的技术问题。

根据本发明实施例的一个方面，提供了一种数据存储方法，包括：获取多个存储节点的节点信息，其中，节点信息至少包括多个存储节点的参数信息、数据存储量信息以及状态信息，多个存储节点用于存储数据；基于目标模型对多个存储节点的节点信息进行处理，得到每个存储节点的存储概率值，其中，目标模型是基于多个存储节点的历史节点信息以及当前节点信息进行训练得到的，每个存储节点的存储概率值表征每个存储节点的数据存储量；基于每个存储节点的存储概率值从多个存储节点中确定目标存储节点；将待存储数据存储至目标存储节点中。

进一步地，在获取多个存储节点的节点信息之后，基于多个存储节点的节点信息确定每个存储节点的数据存储量；计算多个存储节点的数据存储量的方差，得到第一方差值。

进一步地，在将待存储数据存储至目标存储节点中之后，获取多个存储节点的当前数据存储量；计算多个存储节点的当前数据存储量的方差，得到第二方差值；计算第一方差值和第二方差值的差值，得到回报值，其中，回报值表征多个存储节点的数据存储波动量。

进一步地，在将待存储数据存储至目标存储节点中之前，方法还包括：步骤1，检测待存储数据是否成功存储至目标存储节点中；步骤2，若待存储数据未成功存储至目标存储节点中，确定负反馈值，并计算负反馈值与回报值之和，得到目标回报值，并重复执行步骤1-步骤2，直至待存储数据成功存储至目标存储节点中，或在未成功存储的次数大于第一预设阈值时，将待存储数据存储至候选存储节点中，其中，候选存储节点为多个存储节点中数据存储量大于或等于第二预设阈值的存储节点，目标回报值用于更新目标模型，负反馈值与未成功存储的次数呈正相关。

进一步地，在将待存储数据存储至目标存储节点中之后，检测第一缓存区中经验数据的数量是否大于或等于第三预设阈值，其中，经验数据为多个存储节点的历史节点信息、当前节点信息以及目标回报值；在经验数据的数量大于第二预设阈值时，将经验数据发送至计算节点，并清理第一缓存区中的经验数据，其中，计算节点用于训练目标模型。