文档章节

Hadoop tutorial - 1 - 环境搭建 2015-3-17

jayronwang
 jayronwang
发布于 2015/03/17 22:25
字数 480
阅读 92
收藏 0

hadoop core:

http://www.apache.org/dyn/closer.cgi/hadoop/core/

书籍:

hadoop权威指南(hadoop the definitive guide) 粗略读,知道相应知识在哪里就可以,后面当工具书用

书籍源码:

https://github.com/tomwhite/hadoop-book/tree/1e

官方文档:

http://hadoop.apache.org/docs/r1.0.4/cn/

工具:

virtualbox 4.2.4-81684-win.exe

内存:700M (<652M 系统进入text mode安装模式,没有图形界面)

硬盘:10G

centos 6.3->6.7

http://wiki.centos.org/Download

 

安装centos 

root/123456或centos

type: basic server

 

网络:

Host-only

 

Q:无法上网

【正解】A: 主机通过无线上网,才会有“家庭网络连接”的选项,本地连接-属性-共享-勾选-“家庭网络连接”-选择"VirtualBox Host-Only Network"

需重启网卡并重新登录logout或者执行命令hostname master

Q:无法上网

【正解】A: 主机通过无线上网,才会有“家庭网络连接”的选项,本地连接-属性-共享-勾选-“家庭网络连接”-选择"VirtualBox Host-Only Network"

【正解】A: 重装无线网卡驱动

A: 或者先用http://www.examw.com/linux/all/200393/ ,安装ssh客户端后,再切回host only.  

A: rpm安装http://blog.csdn.net/musou_ldns/article/details/8331527

    http://rpmfind.net/linux/rpm2html/search.php?query=libedit.so.0(ftp://rpmfind.net/linux/centos/6.6/os/i386/Packages/libedit-2.11-4.20080712cvs.1.el6.i686.rpm)

http://rpmfind.net/linux/rpm2html/search.php?query=openssh-clients&submit=Search+...&system=&arch=


 

配置虚拟机

ip映射文件

vi /etc/hosts

末尾添加(以后配置其它机子IP)

192.168.137.101 centos01

192.168.137.101 centos02

192.168.137.101 centos03

192.168.137.101 centos04

192.168.137.101 centos05

192.168.137.101 centos06

192.168.137.101 centos07

 

修改主机名

vi /etc/sysconfig/network

HOSTNAME=master

 

虚拟机01

(vi基本操作 编辑a   保存并退出esc->:wq)

vi /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO=static #需改为静态,否则下面的IPADDR将没用,系统自动分配IP
ONBOOT=yes #修改;启动时配置网卡
IPADDR=192.168.137.2
NETMASK=255.255.255.0
GATEWAY=192.168.137.1

 

配置DNS

vi /etc/resolv.conf
nameserver 192.168.137.1

 

重启网卡

service network restart

 

error:device eth0 does not seem to be present, delaying initialization

先重启,或者http://blog.sina.com.cn/s/blog_77126fa501018s3d.html

检验

虚拟机ifconfig查看ip

从主机ping下虚拟机

 

 

 

© 著作权归作者所有

共有 人打赏支持
jayronwang
粉丝 12
博文 105
码字总数 20353
作品 0
厦门
Hadoop2.6.0环境搭建

一、环境说明 1、机器:一台物理机 和一台虚拟机 2、linux版本:[spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Tikanga) 3、JDK: [spark@S1PA11 ~]$ java......

dengxin919820
06/28
0
0
hive之环境搭建

cd ~/soft wget http://mirrors.sohu.com/mysql/MySQL-5.5/MySQL-5.5.46-1.el6.x8664.rpm-bundle.tar [root@hadoop04 hive-0.12.0]# cd /root/app/hive-0.12.0 [root@hadoop04 hive-0.12.0]#......

泡海椒
2016/01/16
16
0
windows 安装 spark 及 pycharm 调试 TopN 实例

首先声明本文搭建的环境为:windows8.1 + spark1.6.0 + python2.7 + jdk8,spark on windows 对 windows及python版本不怎么挑,但是对 spark 版本要求极其苛刻,比如 spark1.6.1 就无法运行。...

大数据之路
2012/06/28
0
0
Hadoop 集群cluster搭建

Hadoop集群cluster环境的搭建,可以参考官方文档: http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/ClusterSetup.html 2015-12 搭建Hadoop cluster环境于公司云环......

shawnplaying
2016/02/22
41
0
hadoop集群搭建

hadoop 集群架构 1.启动3个linux服务器 IP 192.168.108.135 192.168.108.136 192.168.108.137 主机名 www.hadoop1.org www.hadoop2.org www.hadoop3.org 硬件信息 2G 内存 1CPU 1G 内存 1CPU......

黄信程
2017/06/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Shiro | 实现权限验证完整版

写在前面的话 提及权限,就会想到安全,是一个十分棘手的话题。这里只是作为学校Shiro的一个记录,而不是,权限就应该这样设计之类的。 Shiro框架 1、Shiro是基于Apache开源的强大灵活的开源...

冯文议
今天
1
0
linux 系统的运行级别

运行级别 运行级别 | 含义 0 关机 1 单用户模式,可以想象为windows 的安全模式,主要用于修复系统 2 不完全的命令模式,不含NFS服务 3 完全的命令行模式,就是标准的字符界面 4 系统保留 5 ...

Linux学习笔记
今天
2
0
学习设计模式——命令模式

任何模式的出现,都是为了解决一些特定的场景的耦合问题,以达到对修改封闭,对扩展开放的效果。命令模式也不例外: 命令模式是为了解决命令的请求者和命令的实现者之间的耦合关系。 解决了这...

江左煤郎
今天
3
0
字典树收集(非线程安全,后续做线程安全改进)

将500W个单词放进一个数据结构进行存储,然后进行快速比对,判断一个单词是不是这个500W单词之中的;来了一个单词前缀,给出500w个单词中有多少个单词是该前缀. 1、这个需求首先需要设计好数据结...

算法之名
昨天
15
0
GRASP设计模式

此文参考了这篇博客,建议读者阅读原文。 面向对象(Object-Oriented,OO)是当下软件开发的主流方法。在OO分析与设计中,我们首先从问题领域中抽象出领域模型,在领域模型中以适当的粒度归纳...

克虏伯
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部