文档章节

Hadoop tutorial - 1 - 环境搭建 2015-3-17

jayronwang
 jayronwang
发布于 2015/03/17 22:25
字数 550
阅读 123
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

hadoop core:

http://www.apache.org/dyn/closer.cgi/hadoop/core/

书籍:

hadoop权威指南(hadoop the definitive guide) 粗略读,知道相应知识在哪里就可以,后面当工具书用

书籍源码:

https://github.com/tomwhite/hadoop-book/tree/1e

官方文档:

http://hadoop.apache.org/docs/r1.0.4/cn/

工具:

virtualbox 4.2.4-81684-win.exe

内存:700M (<652M 系统进入text mode安装模式,没有图形界面)

硬盘:10G

centos 6.3->6.7

http://wiki.centos.org/Download

 

安装centos 

root/123456或centos

type: basic server

 

网络:

Host-only

 

Q:无法上网

【正解】A: 主机通过无线上网,才会有“家庭网络连接”的选项,本地连接-属性-共享-勾选-“家庭网络连接”-选择"VirtualBox Host-Only Network"(即让物理机的网卡允许虚拟网卡来用它来连接外网)

需重启网卡并重新登录logout或者执行命令hostname master

Q:无法上网

【正解】A: 主机通过无线上网,才会有“家庭网络连接”的选项,本地连接-属性-共享-勾选-“家庭网络连接”-选择"VirtualBox Host-Only Network"

【正解】A: 重装无线网卡驱动

A: 或者先用http://www.examw.com/linux/all/200393/ ,安装ssh客户端后,再切回host only.  

A: rpm安装http://blog.csdn.net/musou_ldns/article/details/8331527

    http://rpmfind.net/linux/rpm2html/search.php?query=libedit.so.0(ftp://rpmfind.net/linux/centos/6.6/os/i386/Packages/libedit-2.11-4.20080712cvs.1.el6.i686.rpm)

http://rpmfind.net/linux/rpm2html/search.php?query=openssh-clients&submit=Search+...&system=&arch=


 

配置虚拟机

ip映射文件

vi /etc/hosts

末尾添加(以后配置其它机子IP)

192.168.137.101 centos01

192.168.137.101 centos02

192.168.137.101 centos03

192.168.137.101 centos04

192.168.137.101 centos05

192.168.137.101 centos06

192.168.137.101 centos07

 

修改主机名

vi /etc/sysconfig/network

HOSTNAME=master

 

虚拟机01

(vi基本操作 编辑a   保存并退出esc->:wq)

vi /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO=static #需改为静态,否则下面的IPADDR将没用,系统自动分配IP
ONBOOT=yes #修改;启动时配置网卡
IPADDR=192.168.137.2
NETMASK=255.255.255.0
GATEWAY=192.168.137.1

 

配置DNS

vi /etc/resolv.conf
nameserver 192.168.137.1

 

重启网卡

service network restart

 

error:device eth0 does not seem to be present, delaying initialization

先重启,或者http://blog.sina.com.cn/s/blog_77126fa501018s3d.html

检验

虚拟机ifconfig查看ip

从主机ping下虚拟机

 

 

 

© 著作权归作者所有

jayronwang
粉丝 15
博文 105
码字总数 20423
作品 0
厦门
私信 提问
加载中

评论(0)

Hadoop2.6.0环境搭建

一、环境说明 1、机器:一台物理机 和一台虚拟机 2、linux版本:[spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Tikanga) 3、JDK: [spark@S1PA11 ~]$ java......

dengxin919820
2018/06/28
0
0
Hadoop大数据平台实战(04):Ubuntu 18.04实战安装Spark大数据引擎并统计字符

Spark是一个开源的高性能大数据分析引擎,在Hadoop生态系统中非常的重要组成部分,主要的作用就是分析处理大数据,Spark在大数据生态中的作用是替代之前的mapreduce引擎。Spark的性能测试表名...

徐雷frank
2019/04/09
0
0
hive之环境搭建

cd ~/soft wget http://mirrors.sohu.com/mysql/MySQL-5.5/MySQL-5.5.46-1.el6.x8664.rpm-bundle.tar [root@hadoop04 hive-0.12.0]# cd /root/app/hive-0.12.0 [root@hadoop04 hive-0.12.0]#......

泡海椒
2016/01/16
39
2
Kylin2.5.0环境搭建及操作记录

Apache Kylin是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的H...

PeakFang-BOK
2018/12/14
2.2K
0
一些讲RNN-lstm比较好的博客

Understanding LSTM Networks http://colah.github.io/posts/2015-08-Understanding-LSTMs/ An overview of gradient descent optimization algorithms http://sebastianruder.com/optimizin......

维尼弹着肖邦的夜曲
03/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

websocket实现一个聊天室

上次讲了websoket的基础知识和应用插件,今天我们来用websocket来实现一个聊天程序。先看几张界面截图: 聊天界面: 历史消息查看: 用户上线提醒: 在线体验地址:地址 功能结构图 可以看到...

osc_k1o54uky
21分钟前
20
0
gvim的基本配置(中文乱码,行号和主题)

在C:\Program Files\Vim目录下的 _vimrc文件中,插入基本配置,包括中文乱码,行号和主题。 " Vim with all enhancementssource $VIMRUNTIME/vimrc_example.vim" 解决中文乱码set encodi......

osc_jcfo5qp3
22分钟前
15
0
cad版本转换器哪一款好用?DWG和DXF文件如何互转?

很多工作者在工作时发现,有时候自己接收到一个文件,点击打开时发现打不开,显示文件格式不对,遇见这样的情况就需要把文档转换成自己常用的文件格式。只有经过转换过的图才能打开查看,那么...

真不莲
23分钟前
20
0
C++类中引用成员和常量成员的初始化(初始化列表)

如果一个类是这样定义的: Class A{ public: A(int pram1, int pram2, int pram3); privite: int a; int &b; const int c; } ......

osc_y9y4gqxx
23分钟前
23
0
三年OI——我的初中信竞生涯

目录 前言 Part 1 Part 2 Part 3 Part 4 Part 5 Part 6 后记 前言 OI至今已三年,小记一则,兼怀往事 文采不加,文章不伦不类,愧对语文老师 Part 1 初一上学期时,家父听说\(xzy\)(学长)得...

osc_9fexqrfv
24分钟前
21
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部