文档章节

Hadoop tutorial - 1 - 环境搭建 2015-3-17

jayronwang
 jayronwang
发布于 2015/03/17 22:25
字数 480
阅读 92
收藏 0

hadoop core:

http://www.apache.org/dyn/closer.cgi/hadoop/core/

书籍:

hadoop权威指南(hadoop the definitive guide) 粗略读,知道相应知识在哪里就可以,后面当工具书用

书籍源码:

https://github.com/tomwhite/hadoop-book/tree/1e

官方文档:

http://hadoop.apache.org/docs/r1.0.4/cn/

工具:

virtualbox 4.2.4-81684-win.exe

内存:700M (<652M 系统进入text mode安装模式,没有图形界面)

硬盘:10G

centos 6.3->6.7

http://wiki.centos.org/Download

 

安装centos 

root/123456或centos

type: basic server

 

网络:

Host-only

 

Q:无法上网

【正解】A: 主机通过无线上网,才会有“家庭网络连接”的选项,本地连接-属性-共享-勾选-“家庭网络连接”-选择"VirtualBox Host-Only Network"

需重启网卡并重新登录logout或者执行命令hostname master

Q:无法上网

【正解】A: 主机通过无线上网,才会有“家庭网络连接”的选项,本地连接-属性-共享-勾选-“家庭网络连接”-选择"VirtualBox Host-Only Network"

【正解】A: 重装无线网卡驱动

A: 或者先用http://www.examw.com/linux/all/200393/ ,安装ssh客户端后,再切回host only.  

A: rpm安装http://blog.csdn.net/musou_ldns/article/details/8331527

    http://rpmfind.net/linux/rpm2html/search.php?query=libedit.so.0(ftp://rpmfind.net/linux/centos/6.6/os/i386/Packages/libedit-2.11-4.20080712cvs.1.el6.i686.rpm)

http://rpmfind.net/linux/rpm2html/search.php?query=openssh-clients&submit=Search+...&system=&arch=


 

配置虚拟机

ip映射文件

vi /etc/hosts

末尾添加(以后配置其它机子IP)

192.168.137.101 centos01

192.168.137.101 centos02

192.168.137.101 centos03

192.168.137.101 centos04

192.168.137.101 centos05

192.168.137.101 centos06

192.168.137.101 centos07

 

修改主机名

vi /etc/sysconfig/network

HOSTNAME=master

 

虚拟机01

(vi基本操作 编辑a   保存并退出esc->:wq)

vi /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO=static #需改为静态,否则下面的IPADDR将没用,系统自动分配IP
ONBOOT=yes #修改;启动时配置网卡
IPADDR=192.168.137.2
NETMASK=255.255.255.0
GATEWAY=192.168.137.1

 

配置DNS

vi /etc/resolv.conf
nameserver 192.168.137.1

 

重启网卡

service network restart

 

error:device eth0 does not seem to be present, delaying initialization

先重启,或者http://blog.sina.com.cn/s/blog_77126fa501018s3d.html

检验

虚拟机ifconfig查看ip

从主机ping下虚拟机

 

 

 

© 著作权归作者所有

共有 人打赏支持
jayronwang
粉丝 12
博文 105
码字总数 20353
作品 0
厦门
Hadoop2.6.0环境搭建

一、环境说明 1、机器:一台物理机 和一台虚拟机 2、linux版本:[spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Tikanga) 3、JDK: [spark@S1PA11 ~]$ java......

dengxin919820
06/28
0
0
windows 安装 spark 及 pycharm 调试 TopN 实例

首先声明本文搭建的环境为:windows8.1 + spark1.6.0 + python2.7 + jdk8,spark on windows 对 windows及python版本不怎么挑,但是对 spark 版本要求极其苛刻,比如 spark1.6.1 就无法运行。...

大数据之路
2012/06/28
0
0
hive之环境搭建

cd ~/soft wget http://mirrors.sohu.com/mysql/MySQL-5.5/MySQL-5.5.46-1.el6.x8664.rpm-bundle.tar [root@hadoop04 hive-0.12.0]# cd /root/app/hive-0.12.0 [root@hadoop04 hive-0.12.0]#......

泡海椒
2016/01/16
16
0
Hadoop 集群cluster搭建

Hadoop集群cluster环境的搭建,可以参考官方文档: http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/ClusterSetup.html 2015-12 搭建Hadoop cluster环境于公司云环......

shawnplaying
2016/02/22
41
0
hadoop集群搭建

hadoop 集群架构 1.启动3个linux服务器 IP 192.168.108.135 192.168.108.136 192.168.108.137 主机名 www.hadoop1.org www.hadoop2.org www.hadoop3.org 硬件信息 2G 内存 1CPU 1G 内存 1CPU......

黄信程
2017/06/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

弹性工作制的魔咒

简评:你找到了一份完美的工作 —— 可以提前离开公司,还可以在晚上从家里回复邮件。既然如此,你为什么还会有那么强的负罪感呢? 或许是弹性工作制魔咒在作祟。 很多享受弹性工作制的人会始...

极光推送
2分钟前
0
0
KAFKA介绍(分布式架构)

Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: Kafka将消息以...

明理萝
8分钟前
0
1
os::NodeHandle::subscribe回调函数绑定对象

void Foo::callback(const std_msgs::Empty::ConstPtr& message){}Foo foo_object;ros::Subscriber sub = handle.subscribe("my_topic", 1, &Foo::callback, &foo_object); 参考: ht......

itfanr
10分钟前
0
0
React16.4 开发简书项目 从零基础入门到实战

React16.4 开发简书项目 从零基础入门到实战 关注我的订阅号下载 React16.4 开发简书项目 从零基础入门到实战

蜗牛奔跑
12分钟前
0
0
day57-20180815-流利阅读笔记-待学习

社恐怎么办?这个漫画或许能治愈你 毛西 2018-08-15 1.今日导读 近日,芬兰漫画家卡罗利娜·科尔霍宁创作的绘本《芬兰人的噩梦》在中国大火。一时间书中的主人公马蒂成为了人们茶余饭后热议的...

aibinxiao
16分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部