文档章节

Hadoop tutorial - 1 - 环境搭建 2015-3-17

jayronwang
 jayronwang
发布于 2015/03/17 22:25
字数 480
阅读 92
收藏 0

hadoop core:

http://www.apache.org/dyn/closer.cgi/hadoop/core/

书籍:

hadoop权威指南(hadoop the definitive guide) 粗略读,知道相应知识在哪里就可以,后面当工具书用

书籍源码:

https://github.com/tomwhite/hadoop-book/tree/1e

官方文档:

http://hadoop.apache.org/docs/r1.0.4/cn/

工具:

virtualbox 4.2.4-81684-win.exe

内存:700M (<652M 系统进入text mode安装模式,没有图形界面)

硬盘:10G

centos 6.3->6.7

http://wiki.centos.org/Download

 

安装centos 

root/123456或centos

type: basic server

 

网络:

Host-only

 

Q:无法上网

【正解】A: 主机通过无线上网,才会有“家庭网络连接”的选项,本地连接-属性-共享-勾选-“家庭网络连接”-选择"VirtualBox Host-Only Network"

需重启网卡并重新登录logout或者执行命令hostname master

Q:无法上网

【正解】A: 主机通过无线上网,才会有“家庭网络连接”的选项,本地连接-属性-共享-勾选-“家庭网络连接”-选择"VirtualBox Host-Only Network"

【正解】A: 重装无线网卡驱动

A: 或者先用http://www.examw.com/linux/all/200393/ ,安装ssh客户端后,再切回host only.  

A: rpm安装http://blog.csdn.net/musou_ldns/article/details/8331527

    http://rpmfind.net/linux/rpm2html/search.php?query=libedit.so.0(ftp://rpmfind.net/linux/centos/6.6/os/i386/Packages/libedit-2.11-4.20080712cvs.1.el6.i686.rpm)

http://rpmfind.net/linux/rpm2html/search.php?query=openssh-clients&submit=Search+...&system=&arch=


 

配置虚拟机

ip映射文件

vi /etc/hosts

末尾添加(以后配置其它机子IP)

192.168.137.101 centos01

192.168.137.101 centos02

192.168.137.101 centos03

192.168.137.101 centos04

192.168.137.101 centos05

192.168.137.101 centos06

192.168.137.101 centos07

 

修改主机名

vi /etc/sysconfig/network

HOSTNAME=master

 

虚拟机01

(vi基本操作 编辑a   保存并退出esc->:wq)

vi /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO=static #需改为静态,否则下面的IPADDR将没用,系统自动分配IP
ONBOOT=yes #修改;启动时配置网卡
IPADDR=192.168.137.2
NETMASK=255.255.255.0
GATEWAY=192.168.137.1

 

配置DNS

vi /etc/resolv.conf
nameserver 192.168.137.1

 

重启网卡

service network restart

 

error:device eth0 does not seem to be present, delaying initialization

先重启,或者http://blog.sina.com.cn/s/blog_77126fa501018s3d.html

检验

虚拟机ifconfig查看ip

从主机ping下虚拟机

 

 

 

© 著作权归作者所有

共有 人打赏支持
jayronwang
粉丝 13
博文 105
码字总数 20353
作品 0
厦门
私信 提问
Hadoop2.6.0环境搭建

一、环境说明 1、机器:一台物理机 和一台虚拟机 2、linux版本:[spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Tikanga) 3、JDK: [spark@S1PA11 ~]$ java......

dengxin919820
06/28
0
0
hive之环境搭建

cd ~/soft wget http://mirrors.sohu.com/mysql/MySQL-5.5/MySQL-5.5.46-1.el6.x8664.rpm-bundle.tar [root@hadoop04 hive-0.12.0]# cd /root/app/hive-0.12.0 [root@hadoop04 hive-0.12.0]#......

泡海椒
2016/01/16
16
0
windows 安装 spark 及 pycharm 调试 TopN 实例

首先声明本文搭建的环境为:windows8.1 + spark1.6.0 + python2.7 + jdk8,spark on windows 对 windows及python版本不怎么挑,但是对 spark 版本要求极其苛刻,比如 spark1.6.1 就无法运行。...

大数据之路
2012/06/28
0
0
Hadoop 集群cluster搭建

Hadoop集群cluster环境的搭建,可以参考官方文档: http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/ClusterSetup.html 2015-12 搭建Hadoop cluster环境于公司云环......

shawnplaying
2016/02/22
41
0
hadoop集群搭建

hadoop 集群架构 1.启动3个linux服务器 IP 192.168.108.135 192.168.108.136 192.168.108.137 主机名 www.hadoop1.org www.hadoop2.org www.hadoop3.org 硬件信息 2G 内存 1CPU 1G 内存 1CPU......

黄信程
2017/06/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

flutter Expanded用法

使用的地方:一个分类,类似京东的,左右两边都可以滑动 Widget build(BuildContext context) { return Row(children: [ Column( children: <Widget>[ Ex......

大灰狼wow
14分钟前
2
0
Java8 Map中新增的方法使用总结

前言 得益于 Java 8 的 default 方法特性,Java 8 对 Map 增加了不少实用的默认方法,像 getOrDefault, forEach, replace, replaceAll, putIfAbsent, remove(key, value), computeIfPresent,......

kaixin_code
24分钟前
1
0
@TransactionConfiguration

@TransactionConfiguration过时与替代写法 @TransactionConfiguration 替代写法

miaojiangmin
26分钟前
0
0
浅谈Vue响应式(数组变异方法)

很多初使用Vue的同学会发现,在改变数组的值的时候,值确实是改变了,但是视图却无动于衷,果然是因为数组太高冷了吗? 查看官方文档才发现,不是女神太高冷,而是你没用对方法。 看来想让女...

开元中国2015
27分钟前
2
0
Elasticsearch通关教程(五):如何通过SQL查询Elasticsearch

  这篇博文本来是想放在全系列的大概第五、六篇的时候再讲的,毕竟查询是在索引创建、索引文档数据生成和一些基本概念介绍完之后才需要的。当前面的一些知识概念全都讲解完之后再讲解查询是...

SEOwhywhy
47分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部