[发明专利]一种跨境电商的数据同步方法、装置及设备

说明书

本申请公开了一种跨境电商的数据同步方法、装置及设备。该方法中，模拟网页登录，登录至中国国际贸易单一窗口前端；利用网页爬虫，抓取中国国际贸易单一窗口前端页面数据；对抓取到的数据进行格式转换；将经过格式转换后的数据发送至电商平台。此外，还可以创建多个线程，每个线程均可以用于爬取中国国际贸易单一窗口前端页面数据，对数据进行格式转换，并将经过格式转换后的数据发送至电商平台。通过上述方法，实现了跨境电商不依赖当地的跨境电商公共服务平台也能够实现数据同步。

技术领域

本申请涉及网络技术领域，尤其涉及一种跨境电商的数据同步方法、装置及设备。

背景技术

跨境电商企业通过海关跨境电商统一版申报的跨境电商通关回执数据，需要经过当地的跨境电商公共服务平台处理后，才能够返回至电商企业的电商平台中，其数据传输流程可如图1所示。

在上述流程中，数据传输时间较长，对于电商企业来说，延时长、时效性低。此外，在数据量较大时，当地的跨境电商公共服务平台还可能出现拥堵、宕机或数据丢失等异常情况，待当地的跨境电商公共服务平台恢复正常并将数据发送至电商平台时，将会给电商平台数据同步带来较大影响。

发明内容

本申请实施例提供一种跨境电商的数据同步方法、装置及设备，用于实现跨境电商平台的数据同步。

第一方面，本申请实施例提供一种跨境电商的数据同步方法，包括：

模拟网页登录，登录至中国国际贸易单一窗口前端；

利用网页爬虫，抓取中国国际贸易单一窗口前端页面数据；

对抓取到的数据进行格式转换；

将经过格式转换后的数据发送至电商平台。

在一种可能的实现方式中，在登录至中国国际贸易单一窗口前端之后，还包括：

创建多个线程，每个线程用于利用网页爬虫技术，抓取中国国际贸易单一窗口前端页面数据，对抓取到的数据进行格式转换，将经过格式转换后的数据发送至电商平台。

在一种可能的实现方式中，所述创建多个线程，包括：

利用.NET“Thread”类创建多个线程。

在一种可能的实现方式中，所述模拟网页登录，包括：

利用.NET第三方插件“CefSharp”嵌套网页技术和“HttpWebRequest”类，模拟页面登录。

在一种可能的实现方式中，所述利用网页爬虫，抓取中国国际贸易单一窗口前端页面数据，包括：

利用.NET“HttpWebResponse”类，对中国国际贸易单一窗口前端页面数据进行抓取。

在一种可能的实现方式中，所述对抓取到的数据进行格式转换，包括：

利用.NET第三方插件“Newtonsoft.Json”对抓取到的数据进行格式转换，转换后的数据格式为Json。

在一种可能的实现方式中，所述将经过格式转换后的数据发送至电商平台，包括：

利用.NET“HttpWebRequest”类，将经过格式转换后的数据发送至电商平台。

第二方面，本申请实施例提供一种跨境电商的数据同步装置，包括：

登录模块，用于模拟网页登录，登录至中国国际贸易单一窗口前端；

爬虫模块，用于利用网页爬虫，抓取中国国际贸易单一窗口前端页面数据；

数据转换模块，用于对抓取到的数据进行格式转换；