文档章节

Hadoop tutorial - 1 - 环境搭建 2015-3-17

jayronwang
 jayronwang
发布于 2015/03/17 22:25
字数 480
阅读 92
收藏 0
点赞 0
评论 0

hadoop core:

http://www.apache.org/dyn/closer.cgi/hadoop/core/

书籍:

hadoop权威指南(hadoop the definitive guide) 粗略读,知道相应知识在哪里就可以,后面当工具书用

书籍源码:

https://github.com/tomwhite/hadoop-book/tree/1e

官方文档:

http://hadoop.apache.org/docs/r1.0.4/cn/

工具:

virtualbox 4.2.4-81684-win.exe

内存:700M (<652M 系统进入text mode安装模式,没有图形界面)

硬盘:10G

centos 6.3->6.7

http://wiki.centos.org/Download

 

安装centos 

root/123456或centos

type: basic server

 

网络:

Host-only

 

Q:无法上网

【正解】A: 主机通过无线上网,才会有“家庭网络连接”的选项,本地连接-属性-共享-勾选-“家庭网络连接”-选择"VirtualBox Host-Only Network"

需重启网卡并重新登录logout或者执行命令hostname master

Q:无法上网

【正解】A: 主机通过无线上网,才会有“家庭网络连接”的选项,本地连接-属性-共享-勾选-“家庭网络连接”-选择"VirtualBox Host-Only Network"

【正解】A: 重装无线网卡驱动

A: 或者先用http://www.examw.com/linux/all/200393/ ,安装ssh客户端后,再切回host only.  

A: rpm安装http://blog.csdn.net/musou_ldns/article/details/8331527

    http://rpmfind.net/linux/rpm2html/search.php?query=libedit.so.0(ftp://rpmfind.net/linux/centos/6.6/os/i386/Packages/libedit-2.11-4.20080712cvs.1.el6.i686.rpm)

http://rpmfind.net/linux/rpm2html/search.php?query=openssh-clients&submit=Search+...&system=&arch=


 

配置虚拟机

ip映射文件

vi /etc/hosts

末尾添加(以后配置其它机子IP)

192.168.137.101 centos01

192.168.137.101 centos02

192.168.137.101 centos03

192.168.137.101 centos04

192.168.137.101 centos05

192.168.137.101 centos06

192.168.137.101 centos07

 

修改主机名

vi /etc/sysconfig/network

HOSTNAME=master

 

虚拟机01

(vi基本操作 编辑a   保存并退出esc->:wq)

vi /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO=static #需改为静态,否则下面的IPADDR将没用,系统自动分配IP
ONBOOT=yes #修改;启动时配置网卡
IPADDR=192.168.137.2
NETMASK=255.255.255.0
GATEWAY=192.168.137.1

 

配置DNS

vi /etc/resolv.conf
nameserver 192.168.137.1

 

重启网卡

service network restart

 

error:device eth0 does not seem to be present, delaying initialization

先重启,或者http://blog.sina.com.cn/s/blog_77126fa501018s3d.html

检验

虚拟机ifconfig查看ip

从主机ping下虚拟机

 

 

 

© 著作权归作者所有

共有 人打赏支持
jayronwang
粉丝 11
博文 94
码字总数 20353
作品 0
厦门
Hadoop2.6.0环境搭建

一、环境说明 1、机器:一台物理机 和一台虚拟机 2、linux版本:[spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Tikanga) 3、JDK: [spark@S1PA11 ~]$ java......

dengxin919820 ⋅ 2015/06/30 ⋅ 0

windows 安装 spark 及 pycharm 调试 TopN 实例

首先声明本文搭建的环境为:windows8.1 + spark1.6.0 + python2.7 + jdk8,spark on windows 对 windows及python版本不怎么挑,但是对 spark 版本要求极其苛刻,比如 spark1.6.1 就无法运行。...

xrzs ⋅ 2012/06/28 ⋅ 0

hive之环境搭建

cd ~/soft wget http://mirrors.sohu.com/mysql/MySQL-5.5/MySQL-5.5.46-1.el6.x8664.rpm-bundle.tar [root@hadoop04 hive-0.12.0]# cd /root/app/hive-0.12.0 [root@hadoop04 hive-0.12.0]#......

泡海椒 ⋅ 2016/01/16 ⋅ 0

Hadoop 集群cluster搭建

Hadoop集群cluster环境的搭建,可以参考官方文档: http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/ClusterSetup.html 2015-12 搭建Hadoop cluster环境于公司云环......

shawnplaying ⋅ 2016/02/22 ⋅ 0

hadoop集群搭建

hadoop 集群架构 1.启动3个linux服务器 IP 192.168.108.135 192.168.108.136 192.168.108.137 主机名 www.hadoop1.org www.hadoop2.org www.hadoop3.org 硬件信息 2G 内存 1CPU 1G 内存 1CPU......

黄信程 ⋅ 2017/06/24 ⋅ 0

Windows下单机安装Spark开发环境

机器:windows 10 64位。 因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。 1、Java下Spark开发环境搭建 1.1、jdk安装 安装oracle下的jdk,我安装的是jdk 1.7...

涩女郎 ⋅ 2016/09/20 ⋅ 0

【干货】Apache Hadoop 2.8 完全分布式集群搭建超详细过程,实现NameNode HA、ResourceManager HA高可靠性

最近在自己的笔记本电脑上搭建了Apache Hadoop分布式集群,采用了最新的稳定版本2.8,并配置了NameNode、ResourceManager的HA高可用,方便日常对Hadoop的研究与测试工作。详细的搭建过程如下...

雪饼 ⋅ 2017/06/20 ⋅ 21

hadoop-伪分布环境搭建

软件要求 centos6.8 jdk1.7 hadoop2.6 centos环境配置 关闭防火墙 主机静态ip vi /etc/sysconfig/network-scripts/ifcfg-eth0 #修改网络配置文件 修改主机名 vi /etc/sysconfig/network 修改...

云淡V ⋅ 2016/06/28 ⋅ 0

Hadoop HA重做 Standby

错误现象,刚开始 namenode log一直刷以下错误信息: 2014-01-27 17:55:59,388 WARN resources.ExceptionHandler (ExceptionHandler.java:toResponse(92)) - INTERNALSERVERERROR 后面与此文......

cwalet ⋅ 2016/05/24 ⋅ 0

基于CentOS的Hadoop和Spark分布式集群搭建过程

1. 软件版本,IP地址,修改主机名和hosts文件 (1)软件版本:CentOS 7.0;JDK 8u141;Hadoop 2.7.3;Scala 2.11.8;Spark 2.2.0。 (2)IP地址:192.168.106.128(主节点);192.168.106.1...

shengshengwang ⋅ 2017/07/23 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

vbs 取文件大小 字节

dim namedim fs, s'name = Inputbox("姓名")'msgbox(name)set fs = wscript.createobject("scripting.filesystemobject") 'fs为FSO实例if (fs.folderexists("c:\temp"))......

vga ⋅ 11分钟前 ⋅ 1

高并发之Nginx的限流

首先Nginx的版本号有要求,最低为1.11.5 如果低于这个版本,在Nginx的配置中 upstream web_app { server 到达Ip1:端口 max_conns=10; server 到达Ip2:端口 max_conns=10; } server { listen ...

算法之名 ⋅ 今天 ⋅ 0

Spring | IOC AOP 注解 简单使用

写在前面的话 很久没更新笔记了,有人会抱怨:小冯啊,你是不是在偷懒啊,没有学习了。老哥,真的冤枉:我觉得我自己很菜,还在努力学习呢,正在学习Vue.js做管理系统呢。即便这样,我还是不...

Wenyi_Feng ⋅ 今天 ⋅ 0

博客迁移到 https://www.jianshu.com/u/aa501451a235

博客迁移到 https://www.jianshu.com/u/aa501451a235 本博客不再更新

为为02 ⋅ 今天 ⋅ 0

win10怎么彻底关闭自动更新

win10自带的更新每天都很多,每一次下载都要占用大量网络,而且安装要等得时间也蛮久的。 工具/原料 Win10 方法/步骤 单击左下角开始菜单点击设置图标进入设置界面 在设置窗口中输入“服务”...

阿K1225 ⋅ 今天 ⋅ 0

Elasticsearch 6.3.0 SQL功能使用案例分享

The best elasticsearch highlevel java rest api-----bboss Elasticsearch 6.3.0 官方新推出的SQL检索插件非常不错,本文一个实际案例来介绍其使用方法。 1.代码中的sql检索 @Testpu...

bboss ⋅ 今天 ⋅ 0

informix数据库在linux中的安装以及用java/c/c++访问

一、安装前准备 安装JDK(略) 到IBM官网上下载informix软件:iif.12.10.FC9DE.linux-x86_64.tar放在某个大家都可以访问的目录比如:/mypkg,并解压到该目录下。 我也放到了百度云和天翼云上...

wangxuwei ⋅ 今天 ⋅ 0

PHP语言系统ZBLOG或许无法重现月光博客的闪耀历史[图]

最近在写博客,希望通过自己努力打造一个优秀的教育类主题博客,名动江湖,但是问题来了,现在写博客还有前途吗?面对强大的自媒体站点围剿,还有信心和可能型吗? 至于程序部分,我选择了P...

原创小博客 ⋅ 今天 ⋅ 0

IntelliJ IDEA 2018.1新特性

工欲善其事必先利其器,如果有一款IDE可以让你更高效地专注于开发以及源码阅读,为什么不试一试? 本文转载自:netty技术内幕 3月27日,jetbrains正式发布期待已久的IntelliJ IDEA 2018.1,再...

Romane ⋅ 今天 ⋅ 0

浅谈设计模式之工厂模式

工厂模式(Factory Pattern)是 Java 中最常用的设计模式之一。这种类型的设计模式属于创建型模式,它提供了一种创建对象的最佳方式。 在工厂模式中,我们在创建对象时不会对客户端暴露创建逻...

佛系程序猿灬 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部