[发明专利]数据采集方法、装置、设备及存储介质

说明书

本发明涉及数据处理技术领域，具体公开了一种数据采集方法、装置、设备及存储介质。该方法包括：接收用户输入的数据采集请求时，根据数据采集请求获取对应的预设数据表；建立预设数据表之间的关联关系，获得关联表；接收用户输入的数据预览请求时，获取用户在各预设数据表中所选择的字段，根据关联表和字段生成SQL语句；执行SQL语句，响应于数据预览请求展示执行结果，并响应于数据采集请求将执行结果返回给用户。通过上述方式，本发明能够实现自动生成SQL语句，并执行SQL语句进行多维度数据采集，无需采集数据的用户具备编写SQL语句的能力，降低数据采集的难度和周期，同时降低开发成本。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据采集方法、装置、设备及存储介质。

背景技术

传统的数据采集服务，需要提供一段复杂的SQL，在交给数据库工程师执行后，才能采集到数据，因此，在实际应用中，需要用户具备一定的SQL能力，即在数据采集过程中，需要先根据采集的内容编写SQL语句，然后利用该SQL语句进行数据采集。但是，采集数据的用户可能不具备编写SQL语句的能力，因而导致用户无法及时采集数据或需要花费时间成本进行SQL学习，增加了数据采集周期和难度。

发明内容

本发明提供一种数据采集方法、装置、设备及存储介质，能够实现多维度数据采集，降低数据采集的难度和周期，同时降低开发成本。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种数据采集方法，包括：

接收用户输入的数据采集请求时，根据所述数据采集请求获取对应的预设数据表；

建立所述预设数据表之间的关联关系，获得关联表；

接收所述用户输入的数据预览请求时，获取用户在各所述预设数据表中所选择的字段，根据所述关联表和所述字段生成SQL语句；

执行所述SQL语句，响应于所述数据预览请求展示执行结果，并响应于所述数据采集请求将所述执行结果返回给所述用户。

根据本发明的一个实施例，所述接收所述用户输入的数据预览请求时，获取用户在各所述预设数据表中所选择的字段，根据所述关联表和所述字段生成SQL语句还包括：

接收所述用户输入的数据预览请求时，获取用户在各所述预设数据表中所选择的字段；

识别所述字段的数据类型；

根据所述数据类型配置筛选条件；

根据所述关联表、所述字段以及所述筛选条件生成SQL语句。

根据本发明的一个实施例，所述执行所述SQL语句，响应于所述数据预览请求展示执行结果，并响应于所述数据采集请求将所述执行结果返回给所述用户包括：

执行所述SQL语句，获得执行结果；

根据所述执行结果获取数据记录数，判断所述数据记录数是否超过预设值；

若是，对所述执行结果作筛选处理，响应于所述数据预览请求展示所述数据记录数和筛选处理结果，响应于所述数据采集请求将所述数据记录数和所述执行结果返回给所述用户；

若否，响应于所述数据预览请求展示所述数据记录数和所述执行结果，并响应于所述数据采集请求将所述数据记录数和所述执行结果返回给所述用户。

根据本发明的一个实施例，所述对所述执行结果作筛选处理，响应于所述数据预览请求展示所述数据记录数和筛选处理结果包括：

对所述执行结果作筛选处理；

识别筛选处理结果中的敏感字段并对所述敏感字段进行脱敏处理；

响应于所述数据预览请求展示所述数据记录数和脱敏处理后的筛选处理结果。