文档章节

采云间DPC迁移方案实施计划

 爱哭的小魔女
发布于 2017/07/12 15:01
字数 913
阅读 2
收藏 0

原文链接

 

摘要: 迁移计划概述: 第一阶段:前期沟通&准备 1、 请先熟悉Dataworks的相关操作,比如节点的新增、执行、调度运维等相关操作; 2、 本次迁移只把用户在采云间里面的任务迁移到DataWorks里面,需要用户提前确认采云间用到的odps项目在DataWorks中是否已经创建且可用;如果用户

迁移计划概述:

 

第一阶段:前期沟通&准备

1、 请先熟悉Dataworks的相关操作,比如节点的新增、执行、调度运维等相关操作;

2、 本次迁移只把用户在采云间里面的任务迁移到DataWorks里面,需要用户提前确认采云间用到的odps项目在DataWorks中是否已经创建且可用;如果用户在采云间有多个odps项目,且用这在odps项目上运行的节点存在依赖关系,需要确保这些odps项目是在一个租户空间中

3、 第二个DataWorks项目里面已经存在节点,需要把所有的节点备份一次(这个操作我们会帮忙处理);

4、 确定具体的操作时间,这个操作时间内用户不能有任何的增、删、改动作,操作完成之后的所有增、删、改需要自己去DataWorks同步,不会再有增量的迁移;

 

第二阶段:迁移方案

迁移时间计划:

【迁移前确定迁移时间】采云间迁移,迁移完成后会把根节点设置成暂停

【迁移完后提供一个星期的时间让用户验证】用户确认迁移效果,验证数据(建议用户在Base上通过补数据比对几天之前的数据来确认是否一致,然后随机采样的方式来验证)

效果确认完成之后通知到我们,我们这边会把所有采云间上的根节点暂停(迁移完成后预留1个月之后下线、删除)

DataWorks上面根节点需要用户设置成启动调度,提交到调度;

迁移内容:

IDE迁移

– 资源、函数会迁移到IDE中

– 采云间IDE中的file迁移至DataWorks的IDE脚本文件

– 已发布节点迁移至DataWorks的工作流节点 

– 不划分工作流Flow,按照节点关系一对一迁移,会根据设置的project把节点迁移到对应的project中;

调度迁移

-   任务类型:Virtual、ODPS SQL、CDP同步

数据源迁移

-  根据同步任务设置的链接方式生成数据源

 

验证注意事项:

– 鉴于同步任务比较多,数据导入和回流任务的验证要注意不能影响生产库。

– 生产验证时间为一周,拖的越久影响越大,最好在一周内完成系统割接。

 

第三阶段:验证

迁移后的验证分为2步:

•  迁移团队进行迁移后的告知客户;

•  客户介入验收工作,验收周期1周,请客户务必在1周内内完成验收工作(否则新增数据可能会导致问题);

 

采云间支持群钉钉群(钉钉群号11766922)

 

本文为云栖社区原创内容,未经允许不得转载,如需转载请发送邮件至yqeditor@list.alibaba-inc.com;如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

原文链接

本文转载自:

粉丝 0
博文 105
码字总数 7329
作品 0
私信 提问
阿里云全球首批 MVP 杨绣专访 - 技术要坚持刨根问底

自我介绍 我现在在人人车负责数据架构方面的工作,搭建数据采集、抓取、存储、计算、BI可视化等系统。 之前在百度网页搜索部,是一名架构工程师(主要在抓取业务),技术方向是高并发分布式服务...

花肉酱
2017/06/26
0
0
“怎么做好云迁移”? 深蓝云海资深架构师给你答案

在云计算市场规模不断扩大的大背景下,云迁移的需求越来越大且面临挑战。云迁移不是一个迁移软件工具,而是一种服务。前IBM资深架构师姜亚杰从云迁移的三个阶段、四个维度到八个步骤的方法,...

阿里云云栖社区
2018/06/13
0
0
“怎么做好云迁移”? IBM资深架构师给你答案

在云计算市场规模不断扩大的大背景下,云迁移的需求越来越大且面临挑战。云迁移不是一个迁移软件工具,而是一种服务。IBM资深架构师姜亚杰从云迁移的三个阶段、四个维度到八个步骤的方法,简...

云迹九州
2018/06/12
0
0
【重磅】阿里云服务产品全新升级

随着云计算与大数据行业的蓬勃发展,各行业客户在阿里云上快速成长。为了保障客户云上系统的平稳运行,并向客户提供更多有价值的服务,阿里云全面升级支持与服务体系: 为所有客户提供基础支...

阿里云服务
2018/03/26
0
0
一张图学会数据库迁云最佳路径

摘要: 我们以基于Oracle数据库的应用系统上云为例,如何根据实际需求,及不同的应用特征,去选择合适的上云解决方案?看懂了以下这张图,就能找到最适合你的应用系统总体的迁移上云路径。 ...

阿里云云栖社区
2018/01/11
21
0

没有更多内容

加载失败,请刷新页面

加载更多

Mybatis Plus删除

/** @author beth @data 2019-10-17 00:30 */ @RunWith(SpringRunner.class) @SpringBootTest public class DeleteTest { @Autowired private UserInfoMapper userInfoMapper; /** 根据id删除......

一个yuanbeth
今天
4
0
总结

一、设计模式 简单工厂:一个简单而且比较杂的工厂,可以创建任何对象给你 复杂工厂:先创建一种基础类型的工厂接口,然后各自集成实现这个接口,但是每个工厂都是这个基础类的扩展分类,spr...

BobwithB
今天
5
0
java内存模型

前言 Java作为一种面向对象的,跨平台语言,其对象、内存等一直是比较难的知识点。而且很多概念的名称看起来又那么相似,很多人会傻傻分不清楚。比如本文我们要讨论的JVM内存结构、Java内存模...

ls_cherish
今天
4
0
友元函数强制转换

友元函数强制转换 p522

天王盖地虎626
昨天
5
0
js中实现页面跳转(返回前一页、后一页)

本文转载于:专业的前端网站➸js中实现页面跳转(返回前一页、后一页) 一:JS 重载页面,本地刷新,返回上一页 复制代码代码如下: <a href="javascript:history.go(-1)">返回上一页</a> <a h...

前端老手
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部