文档章节

Hadoop(一)伪分布

Joker上上签
 Joker上上签
发布于 2017/03/01 21:26
字数 575
阅读 2
收藏 0

1.在win7电脑上安装VMware,然后在VMware中安装centos。(过程略)

2.关闭防火墙

其中指令:

service iptables stop 关闭防火墙

service iptables status 查看防火墙状态

chkconfig --list | grep iptables  输出 所有服务列 并 过滤防火墙部分(其中有开启状态说明防火墙在某些情况会被打开)

chkconfig iptables off 关闭防火墙状态(使用后防火墙完全关闭)

3.SHH免密码登录

其中指令:

ssh-keygen -t rsa 产生秘钥,位于 ~/.ssh文件夹中(rsa为加密方式)

加密后生成id_rsa(私钥)和 id_rsa.pub(公钥)

cp id_rsa.pub authorized_keys

(复制公钥改名authorized_keys,因为ssh验证的时候会自动读取authorized_keys文件)

ssh localhost 自己免密码登录自己(可以测试下)

4.安装JDK(hadoop运行在JDK上的)

    4.1 使用FTP把hadoop安装包和JDK传到linux文件夹下

    4.2 解压JDK并设置系统环境

其中指令:

rm -rf * 删除当前文件下所有文件

cp /root/downloads/* . 复制downloads文件夹下所有文件到当前文件夹下

java -version 查询java版本

rpm -e --nodeps jdk版本号 清除原有的jdk

tar -xzvf JDK的gz压缩包 解压jdk

vi ~/.bashrc 修改配置文件,增加JDK相关配置信息

source ~/.bashrc 让配置文件立即生效

下图为传输安装文件

下图为清除原有的JDK

5.安装hadoop

    5.1解压hadoop tar -zxvf hadoop-1.1.2.tar.gz

    5.2重命名mv hadoop-1.1.2 hadoop

    5.3修改profile文件 vi /etc/profile(增加HADOOP_HOME和PATH)

    5.4让profile文件立即生效source /etc/profile

    5.5修改hadoop配置文件,位于$HADOOP_HOME/conf目录下

        5.5.1 hadoop-env.sh

        5.5.2 core-site.xml

        5.5.3 hdfs-site.xml

        5.5.4 mapred.xml

    5.6执行命令 hadoop namenode -format 对hadoop进行格式化

    5.7执行命令start-all.sh进行启动命令(在HADOOP_HOME/bin目录下)

    5.8执行命令jps查询java进程(除了jps本身外,有五个进程,说明hadoop启动的是java进程)

    5.9也可以在linux中打开火狐输入hadoop:50070进行查看namenode进程(证明namenode存活)

    5.10也可以在linux中打开火狐输入hadoop:50030进行查看Map/Reduce(证明jobtracker存活)

hadoop-env.sh 修改如下图:

core-site.xml 修改如下图:

hdfs-sit.xml修改如下图:

mapred-site.xml修改如下图:

进程在跑,证明配置成功!!!

© 著作权归作者所有

Joker上上签
粉丝 0
博文 8
码字总数 4630
作品 0
南昌
高级程序员
私信 提问
hadoop的简介与伪分布的搭建

一:大数据hadoop简介 二:hadoop的伪分布安装 三:运行wordcount测试 四:hadoop 常用端口号 五:hadoop的四大模块包含 六:启动脚本: 一: 大数据hadoop简介 二:hadoop的伪分布安装 2.1 ...

flyfish225
2018/04/10
0
0
HBase(二):HBase安装

一:准备 HBase和Hadoop一样支持三种运行模式:单机模式,伪分布模式和完全分布模式。而安装伪分布模式时,务必确保Hadoop也运行在相应的模式下。 Hadoop的安装:http://my.oschina.net/gen...

牧羊人Berg
2016/05/12
100
0
Hadoop手把手逐级搭建,从单机伪分布到高可用+联邦(1)单机伪分布

总体概述 1. 目标 2. 工具及版本 3. 四个阶段 第一阶段: hadoop单机伪分布(single) 0. 步骤概述 1. 配置网络修改主机名 1.1 查看VMware虚拟网络 1.2 配置虚拟机网卡ifcfg-eth0 1.3 设置NETWO...

bigablecat
2017/12/26
0
0
Hadoop伪分布安装详解+MapReduce运行原理+基于MapReduce的KNN算法实现

本篇博客将围绕Hadoop伪分布安装+MapReduce运行原理+基于MapReduce的KNN算法实现这三个方面进行叙述。 (一)Hadoop伪分布安装 1、简述Hadoop的安装模式中–伪分布模式与集群模式的区别与联系...

a2011480169
2016/06/15
0
0
Hadoop之本地运行模式详解

Hadoop的运行模式分为3种:本地运行模式,伪分布运行模式,集群运行模式,相应概念如下: 1、独立模式即本地运行模式(standalone或local mode) 无需运行任何守护进程(daemon),所有程序都...

zg_24
2018/05/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

rime设置为默认简体

转载 https://github.com/ModerRAS/ModerRAS.github.io/blob/master/_posts/2018-11-07-rime%E8%AE%BE%E7%BD%AE%E4%B8%BA%E9%BB%98%E8%AE%A4%E7%AE%80%E4%BD%93.md 写在开始 我的Arch Linux上......

zhenruyan
今天
5
0
简述TCP的流量控制与拥塞控制

1. TCP流量控制 流量控制就是让发送方的发送速率不要太快,要让接收方来的及接收。 原理是通过确认报文中窗口字段来控制发送方的发送速率,发送方的发送窗口大小不能超过接收方给出窗口大小。...

鏡花水月
今天
10
0
OSChina 周日乱弹 —— 别问,问就是没空

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @tom_tdhzz :#今日歌曲推荐# 分享容祖儿/彭羚的单曲《心淡》: 《心淡》- 容祖儿/彭羚 手机党少年们想听歌,请使劲儿戳(这里) @wqp0010 :周...

小小编辑
今天
1K
11
golang微服务框架go-micro 入门笔记2.1 micro工具之micro api

micro api micro 功能非常强大,本文将详细阐述micro api 命令行的功能 重要的事情说3次 本文全部代码https://idea.techidea8.com/open/idea.shtml?id=6 本文全部代码https://idea.techidea8....

非正式解决方案
今天
5
0
Spring Context 你真的懂了吗

今天介绍一下大家常见的一个单词 context 应该怎么去理解,正确的理解它有助于我们学习 spring 以及计算机系统中的其他知识。 1. context 是什么 我们经常在编程中见到 context 这个单词,当...

Java知其所以然
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部