文档章节

Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

喵了_个咪
 喵了_个咪
发布于 08/26 09:55
字数 298
阅读 55
收藏 2

在使用大数据集群的时候容灾是一件很重要的事情,CM可以非常方便的进行HA配置,CM也支持sqoop1和sqoop2,之前已经配置了sqoop2本节来一起配置sqoop1

附上:

喵了个咪的博客:w-blog.cn

cloudera官网: https://www.cloudera.com/

官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html

一,HDFS 配置 HA

从首页点击HDFS进入到管理页面,选择菜单中的开启HA

定义一个名称

分配HA的角色

修改目录配置

等待HA重新配置

二,YARN 配置 HA

通过首页进入到YARN控制台,点击菜单选择启动HA

选择和需要组成HA的节点

重启整个集群

三 , 增加sqoop1组件

选择添加服务

最终Sqoop1的bin目录如下:

/usr/local/cloudera-manager/cloudera/parcels/CDH/bin/sqoop

© 著作权归作者所有

共有 人打赏支持
喵了_个咪
粉丝 317
博文 150
码字总数 199180
作品 4
杨浦
技术主管
私信 提问
hadoop发行版本之间的区别

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外cloudera,hortonworks,mapR,华为,DKha...

左手的倒影
09/11
0
0
Sqoop1和Sqoop2简介

主要来源: http://www.linuxidc.com/Linux/2014-10/108337.htm 1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特...

强子哥哥
2015/12/23
792
0
Hadoop 2.6.0 HA高可用集群配置详解

1 Hadoop HA架构详解 1.1 HDFS HA背景 HDFS集群中NameNode 存在单点故障(SPOF)。对于只有一个NameNode的集群,如果NameNode机器出现意外情况,将导致整个集群无法使用,直到NameNode 重新启...

不语者
2016/11/03
183
0
hbase高可用集群部署(cdh)

一、概要 本文记录hbase高可用集群部署过程,在部署hbase之前需要事先部署好hadoop集群,因为hbase的数据需要存放在hdfs上,hadoop集群的部署后续会有一篇文章记录,本文假设hadoop集群已经部...

navyaijm2012
2017/05/10
0
0
Cloudera CDH 、Hortonworks DHP和MapR比较

目前啊,都知道,大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)。   手工部署呢,需配置太多参数,但是,好理解其原理,建议初学这...

hblt-j
08/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

程序中设置MySQL的默认值

import com.alibaba.fastjson.JSON;import java.beans.PropertyDescriptor;import java.lang.annotation.*;import java.lang.reflect.Field;import java.lang.reflect.Method;impo......

laolin23
13分钟前
0
0
WordPress没有上级目录的写权限

sudo chmod -R 777 wordpress/wp-content

临江仙卜算子
20分钟前
0
0
大数据学习之大数据技术笔记—spring入门

篇一 spring介绍 spring.io 官网 快速开始 Aop 面向切面编程,可以任何位置,并且可以细致到方法上 连接框架与框架 Spring 就是 IOC AOP 思想 有效的组织中间层对象一般都是切入 service 层 ...

董黎明
22分钟前
4
0
ASP.NET Core MVC 静态文件配置

在启动文件中添加以下配置 public class Startup{ public IServiceProvider ConfigureServices(IServiceCollection services) { services.AddDirectoryBrowser(); ......

whltian
50分钟前
1
0
linux之自定义命令

本人使用的是ubuntu系统,不喜欢建各种桌面快捷链接,但是每次启动个软件,去查找又麻烦,所以自定义了命令,来快捷的启动应用: 1、修改/etc/bash.bashrc,在文件末尾,加上如下List-1中的内...

克虏伯
57分钟前
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部