[发明专利]数据处理及存储方法、装置及存储介质

说明书

本发明涉及数据处理，揭露一种数据处理及存储方法，包括：根据表单申报平台中每张单数据库表对应的业务逻辑将表单申报平台的业务逻辑拆分成对应的多个逻辑处理单元；从表单申报平台的多张单数据库表中获取表单数据进行校验，通过逻辑处理单元对校验后的表单数据进行处理得到待存储数据；从表单申报平台获取当前并发数，根据当前并发数判断表单申报平台是否出现高并发状况；若是，将数据存储方式设置为第一模式；若否，将数据存储方式设置为第二模式。本发明的数据处理及存储方法，提升了数据处理的效率并保证了数据一致性和可靠性。本发明还涉及区块链领域，所述单数据库表可存储在区块链节点中。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理及存储方法、电子装置及计算机可读存储介质。

背景技术

在流程申报场景中，用户通常需要填写多张表单进行申报。例如农业渔牧业的扶持计划申报，需要填写40多张表单。表单申报平台需要对大量表单数据进行校验并根据表单数据进行业务逻辑的流程处理，并将处理完成得到的业务数据存储到数据库。在出现大量用户进行申报的情况下，即表单申报平台出现高并发的状况下，由于表单数据较多，且不同的表单数据均需要进行对应的数据处理，容易出现数据处理链路较长、与数据库交互次数较多、超长事务从而导致的事务超时。

对于上述问题，现有技术中通常采用将服务进行微服务化，同时对性能瓶颈点进行扩容，通过不断的增加硬件成本来解决性能问题。扩容可以解决大部分问题，但却增加了部署的成本。另外，现有技术中还有一种方案是通过将大的事务分解成小的事务，即通过多次填写少量表单进行多次申报，以防止超长事务导致的事务超时。但这种方案大大增加了表单申报平台的复杂度，且各个小的事务之间有一定的关联关系，在多次提交数据进行落库的过程中容易出现错漏导致无法保持事务一致性。

发明内容

鉴于以上内容，有必要提供一种数据处理及存储方法，用于高效地处理表单数据，并保持数据存储的一致性。

本发明提供的数据处理及存储方法，包括：

根据表单申报平台中每张单数据库表对应的业务逻辑，将所述表单申报平台的业务逻辑拆分成对应的多个对单数据库表进行处理的逻辑处理单元；

从所述表单申报平台的多张单数据库表中获取表单数据，对所述表单数据进行校验，通过所述逻辑处理单元对校验后的表单数据进行处理得到待存储数据；

从所述表单申报平台获取当前并发数，根据所述当前并发数判断所述表单申报平台是否出现高并发状况；

若是，通过预设的动态切换算法将所述待存储数据的数据存储方式设置为第一模式，将所述待存储数据先缓存到第一数据库，并在缓存完成后，将所述待存储数据从所述第一数据库转移存储到第二数据库；

若否，通过所述动态切换算法将所述待存储数据的数据存储方式设置为第二模式，将所述待存储数据直接存储到所述第二数据库。

可选地，所述对所述表单数据进行校验包括：

检测所述表单数据是否为预设的格式，若是，则校验通过；若否，则校验失败，提示错误及该表单数据的格式规范。

可选地，所述通过所述逻辑处理单元对校验后的表单数据进行处理得到待存储数据，包括：

同时调用所有逻辑处理单元，每个逻辑处理单元从对应的单数据库表提取校验后的表单数据并根据业务逻辑进行处理得到待存储数据。

可选地，该方法还包括：

在系统配置文件中设置数据存储方式切换开关，当判断所述数据存储方式切换开关的值为true时，将所述待存储数据的数据存储方式设置为第一模式；所述数据存储方式切换开关的值为false时，将所述待存储数据的数据存储方式设置为第二模式。