文档章节

【物流大数据实践】基于阿里云Maxcompute实现物流跟踪

_夜枫
 _夜枫
发布于 2017/04/19 10:12
字数 2109
阅读 34
收藏 0

摘要:

目前我国物流业保持较快增长,但还是存在一些问题:物流成本高、效率低,条块分割严重(自营物流、规模小、技术落后、标准不统一)、基础设施相对滞后(物流基础设施之间不衔接、不配套),对订单创建到用户签收整套完整流程缺乏完善的监控和预警手段.

 

基于建设统一物流平台的基本要求,用户希望打通各大系统,能够跟踪所有订单在物流系统中的流转过程、处理状态等信息,具体如下需求:

1:订单分为5个阶段,订单处理、发运处理、拣货出库、配送和签收

2:每个阶段的状态判定:未处理、一般报警、严重报警、完成

3:超期天数:需要判定基于订单、装运单的超期天数

4:进度:当前阶段的进度百分比                        

ff43993009168414dae85d08e5d422a1566c314d

 

由上图我们能够分析得出此需求可能涉及多个系统的数据整合,其中订单来源于ERP系统,发运处理和拣货出库数据来源SAP系统,而配送签收就需要使用到GPS等外部系统数据。实际场景中订单、交货单、运单分别来自不同的数据库,所以整体工作项包括:

1、首先要进行数据的整合上云  

2、利用阿里云大数据计算服务进行数据处理和预警判定产生预警结果

3、将预警结果同步到本地预警数据库中

4、本地搭建订单预警应用使用预警数据库进行可视化展示

 

bf79d4076f25501bf8ee3bbc2eae29178978c056

 

 

bee5940d79a10ac8b919e434b3d164952ab834a7

 

技术架构

218c255b16900c62f0dd4529ce292c0b742052e6

主要处理流程:

bb3ff62f42df8a963e958dcc4f84ad3535614939

 

开发环境:windows7、Python、Data IDE

工具:DataX、Data IDE、Eclipse

 

【正文】
一、数据同步上云

安装Python环境>下载datax客户端>创建项目>创建表>编写json配置文件>同步数据到odps       

Python地址:https://www.python.org/downloads/

Datax地址:http://datax-opensource.oss-cn- hangzhou.aliyuncs.com/datax.tar.gz"

 

1、基于阿里云大数据平台创建数据同步表

1.1.首先您需要阿里云账号并已开通大数据计算服务,如果您已开通大数据计算服务,则直接进入控制台点击“大数据开发套件”进入Data IDE环境。

1.2.点击管理控制台,进入管理控制台页面,点击创建项目,新建MaxCompter项目

c7659b6722ea1500c5854de7696ec8428003fbb6

1.3.点击进入工作区,进入到odps工作空间,工具栏点击【新建】,选择新建表

f9551dce87e8a0c212d26ab49ae9b055a4acffd6

对应本地数据订单抬头表,将需要进行数据处理的字段提出来,新建表sql如下

45b629af8b05362750d75b1cda6d76d49ebcc942

 

 

注:登录阿里云市场点击【我的头像】点击【管理控制台】下的【大数据开发套件】,进入项目管理找到自己新建的项目点击【进入工作区】,在IDE工作环境中标题栏中选择【数据管理】。在左边标题栏下点击【数据表管理】,加载出数据管理页面。找到我【管理的表】,点击查看                        

103fb092f9a67a7d7705a1712e9ea96e259b64cc

以上就完成了Maxcompute建立项目和建表的工作内容。

 

2、配置DataX数据同步配置文件

  首先需要下载的dataxdatax 是不同类型的数据库中间交换数据的工具

6f2da4d8f7e534095cae8201d77f9865372aab30

5b4ba90fe2c86070e23efb082f278d6c618fa045

 

 

以上配置:MysqlReader通过JDBC连接器连接到远程的Mysql数据库,并根据用户配置的信息生成查询SELECT SQL语句,然后发送到远程Mysql数据库,并将该SQL执行返回结果使用DataX自定义的数据类型拼装为抽象的数据集,并传递给下游Writer处理。odpsWriter 通过 DataX 框架获取 Reader 生成的协议数据,根据你配置的 writeMode 生成。

打开cmd.exe命令行窗口  输入datax文件地址我的是:D:\programFiles\file2\datax\bin
执行命令 datax.py   ..\job\t_oc_hostorderline.json. 

3bbb1011351734f0b065228f42f68b7ef72fbdd6

执行成功

c5808e8c756dc7e49443abb60c41c9f3dca69dc7

注:datax 在window下乱码异常解决方式

打开cmd.exe命令行窗口,通过chcp命令改变代码页为65001

chcp 65001
在命令行标题栏上点击右键,选择“属性”->“字体,将字体修改为True Type字体“Lucida Console”,然后点击确定将属性应用到当前窗口

 

3、查看云上表数据

    登录阿里云市场点击【我的头像】点击【管理控制台】下的【大数据开发套件】,进入项目管理,找到自己新建的项目点击【进入工作区】,在IDE工作环境中标题栏中选择【数据管理】。在左边标题栏下点击【数据表管理】,加载出数据管理页面。找到我【管理的表】,点击查看

290b38693d0f62008af56b435413e24efcfca97b

双击【t_oc_hostorderline】进入表的详情页面在表的详情页面点击【数据预览】。下面出现本地数据,说明数据本地同步到odps成功

5690b0f7e8b1aba3807f94617b2111d44f805da7

 

二、数据处理、预警判定、结果集输出

   我们使用阿里云Data IDE流程组件中的ODPS_SQL节点来进行数据处理(包括数据集合并、单位统一、数据空值补全等),然后基于阿里云标准开发自定义的MR来进行预警判定,最后将预警结果写入到结果表中,具体操作步骤如下:

 

1.建立任务

登录阿里云市场点击【我的头像】点击【管理控制台】下的【大数据开发套件】,进入项目管理找到自己新建的项目点击【进入工作区】,在工具栏点击【新建】,选择新建

选择工作流任务,周期调度

534d7a934c0e2fd0e4b2aa3930c32686442b1ca3

2.获取订单信息,交货单信息,运单信息,根据订单号组装成预警判定所需要的订单预警对象,根据订单号分组组装成完整的预警数据对象cb42fb119cec886915a8faf9783e1d8b8fc71a5a

3.选择节点组件的虚节拖拽连接完整的处理流程

29152fa2297bc7ac7a19a595ad956880831abed5

 

ODPS_SQL节点,以SQL语句来进行多表数据的合并、空数据补全、单位统一等处理

OPEN MR节点,使用JAVA语言开发的自定义预警MapReduce程序(打包为jar上传到平台使用)

 

feefc3731d49f4091dcbf4411555327b441c16ed

de8154cb44fcd19e5ae9bdc76d39e0f2632a4511

    以上流程开发完毕后即可点击"测试"按钮,测试运行整个流程任务,也可设置任务为周期任务设置任务定时启动的时间,这样任务就可以按照设定周期性的定时执行。

    

    以上流程中,在ODPS SQL进行数据处理之后,结果作为MapReduce输入表,以订单号作为key,订单预警对象作为value,分发给不同的Reduce进行规制判定,将满足预警条件的结果写入MaxCompute结果表【orderalarm_result】中

431fae9cef2e614ec5ea84336d2c495926b13b5f

 

三、计算结果同步到本地

   通过以上流程任务的运行,已经产生了我们需要的预警结果数据,但用户不希望将预警结果数据放在云端使用,用户想将结果数据能够放在本地MySQL或其它数据库中,基于本地搭建预警应用使用本地数据库中的数据进行可视化展示

    基于以上用户需求,我们只基于云平台产生了预警结果数据,接下来我们还需要将云端的数据同步到本地。

  (我们使用DataX工具设置job任务将大数据平台结果表中的数据同步到本地预警平台数据库的预警结果表中)

1、新建配置文件 

 t_oc_hostorderline2.json,job文件内容如下

 

1ce311751547e127468747f1b950fe8cebb0ccd8

打开cmd.exe命令行窗口  输入datax文件地址我的是:D:\programFiles\file2\datax\bin
执行命令 datax.py   ..\job\result.json. 

5941e09d4611e5597b74f30738a85763a12c0b4f

 

 

3、查看本地数据库

507a846843f499787cb17fb5ec2c6a8cfd9a555f

四、可视化展示

    将云上预警结果数据同步到本地数据库以后,用户即可基于本地环境搭建预警应用,使用本地数据库中的数据来进行可视化展示。

 

1、建立ssm项目添加订单预警

626a33531f36e4a26fda34384079f1439fc49014

2、展示页面

5b0598b392f82ff2d857eadfad09289d2ad1d1a5

 

以上基于阿里云MaxCompute平台通过:数据上云、大数据计算、云上数据同步到本地、本地可视化展示  四大步来讲解如何实现物流订单的预警与跟踪。

 

其主要用到的工具包括:DataX(数据同步/集成工具)、Data IDE(大数据开发套件)、Eclips(Java、MapReduce开发)。

本文转载自:https://yq.aliyun.com/articles/72233

_夜枫
粉丝 10
博文 506
码字总数 0
作品 0
朝阳
后端工程师
私信 提问
【合集】云栖大会珍贵技术资料:20+覆盖容器技术、智能工业、大数据、开源数据库等(上)

云栖社区从几百位讲师中精挑细选了若干精华,其中涵盖了智能物流、大数据、开源数据库、智能工业、容器技术以及智能应用实践等。 作为“世界级·现象级”的大会,2017云栖大会将于10月11-14...

OSC_Lucy
2017/08/22
130
0
打通数据孤岛,基于MaxCompute实现产销协同的智慧运营

每一个公司转型的背后 都有着不为人知的秘密 今天,让我们一起探秘 内蒙古蒙牛乳业(集团)股份有限公司是中国发展速度最快的乳品企业之一,2017年实现收入601.56亿元,位列全球乳业第10位,...

迷你芊宝宝
2018/09/25
5
0
阿里云+菜鸟网络=物流全链路数字化、智能化升级

“未来的物流一定是从数字化到数智化,数智世界将是我们共同面临的时代。” ——阿里巴巴集团CEO、菜鸟网络董事长张勇 5月28日,以“数字化再加速”为主题的2019全球智慧物流峰会在杭州召开。...

阿里云头条
06/03
0
0
阿里巴巴大数据计算平台MaxCompute(原名ODPS)全套攻略(持续更新20171127)

概况介绍 大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方...

隐林
2017/05/05
0
0
看完这些干货帖,大数据产品从入门到精通

摘要: 看完这些干货帖,了解大数据产品应用场景 欢迎来到“MVP教你玩转阿里云”系列教程,在这里,你将看到各行各业数字化转型的一线实践,学到资深开发者的经验结晶。 你将以云计算领域的技...

阿里云云栖社区
2018/11/29
14
0

没有更多内容

加载失败,请刷新页面

加载更多

Java 中的 String 有没有长度限制

转载: https://juejin.im/post/5d53653f5188257315539f9a String是Java中很重要的一个数据类型,除了基本数据类型以外,String是被使用的最广泛的了,但是,关于String,其实还是有很多东西...

低至一折起
25分钟前
8
0
OpenStack 简介和几种安装方式总结

OpenStack :是一个由NASA和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenSta...

小海bug
昨天
10
0
DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
昨天
7
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
昨天
9
0
常用物流快递单号查询接口种类及对接方法

目前快递查询接口有两种方式可以对接,一是和顺丰、圆通、中通、天天、韵达、德邦这些快递公司一一对接接口,二是和快递鸟这样第三方集成接口一次性对接多家常用快递。第一种耗费时间长,但是...

程序的小猿
昨天
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部