[发明专利]基于Hadoop的数据处理方法、装置、设备及存储介质

摘要

本发明涉及一种基于Hadoop的数据处理方法、装置、设备以及存储介质，所述方法根据输入险种类型对应的预报价因子，从Hadoop平台的HDFS系统中存储的历史数据中筛选出与保险报价请求匹配的相似案例；若筛选出的相似案例数量小于或等于预设阈值，则利用两个LightGBM模型分别计算中位费率和最大费率，若筛选出的相似案例数大于预设阈值则采用相似性度量的方法进一步筛选相似度较大的案例的历史数据，最后根据筛选后的历史数据计算中位费率和最大费率。本发明的方法可以覆盖绝大部分预报价场景，可以确保有较高的准确率；提高了费率计算的效率；降低人为错误和风险因素的影响；随着数据累积，费率计算准确性也逐渐提升。