文档章节

从零开始最短路径学习Hadoop之01----Hadoop的安装配置测试

brian_2017
 brian_2017
发布于 2017/01/17 08:51
字数 1182
阅读 10
收藏 0
博文中如果出现错误和不妥之处,请在评论中指出,谢谢:)

学习Hadoop的两个条件:会用Linux;会Java语言。
尽管Hadoop也支持其他语言开发,但在学习阶段用Java开发最容易理解Hadoop。

1. 操作系统ubuntu-10.04 桌面版。
    不同发行版的Linux的安装过程基本类似,没太大的差别。
2. Hadoop现在的稳版本是1.1.2 
3. 下载hadoop
    3.1 在hadoop的主页上提供了多个下载链接。
    3.2 任选一个下载站点:
    3.3 选择1.1.2这个版本:
           在这个目录下有多个文件,是针对不同的linux发行版的。不需要全部下载。
           Hadoop的API文档在此: http://hadoop.apache.org/docs/r1.1.2/api/index.html
    3.4  下载 hadoop-1.1.2.tar.gz  和  hadoop-1.1.2.tar.gz.mds
           我们将这两个文件下载到~/setup/hadoop下,命令如下:
             " cd ~/setup/hadoop"
            " wget http://mirror.esocc.com/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz.mds"
            " wget http://mirror.esocc.com/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz"
            检查下载的文件是否完整:
            " md5sum hadoop-1.1.2.tar.gz"
            这时候会出来形如"5557aa1089ab9073d2a5c35c775cccad  hadoop-1.1.2.tar.gz"的字符串,前面的一串字符串就是32位的md5校验码。
            然后运行" cat hadoop-1.1.2.tar.gz.mds",会在屏幕上打印出一些校验码,在里面找到"md5"这一行,如果跟md5sum出来的一致,则表明下载文件完整的,否则需要重新下载。

4 安装java jdk
    4.1 在这里有jdk 1.7的下载
          这里,我们选择linux x86版本。如果是cpu是32位的系统,选择下载Linux,如果是64位的,要选择Linux x64 
          下载的jdk 1.7存放到 /home/bri/setup/java-jdk-1.7/java-jdk-7u25-linux-i586.tar.gz
    4.2 切换到root用户   
            " sudo su"
    4.3 解压缩jdk
            " cd /usr/local/lib"
            " tar -xvfz /home/bri/setup/java-jdk-1.7/java-jdk-7u25-linux-i586.tar.gz"
            解压缩完毕之后,执行" ls",能看到有一个目录叫"jdk1.7.0_25"
    4.4 配置环境变量:
           " gedit /etc/profile"  #打开profile文件
           在/etc/profile文件末尾加上三行代码:
           " export JAVA_HOME=/usr/java/jdk1.7.0_25"
           " export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar"
           " export PATH=$PATH:$JAVA_HOME/bin"
           然后保存文件,然后退出
           更改own
           " chown root:root -R /usr/local/lib/jdk1.7.0_25"
           更改模式
           " chmod 755 -R /usr/local/lib/jdk1.7.0_25"
           更新环境变量
            " . /etc/profile"
           检查java配置是否合理:
           " java -version"
            只要没有报错就表明jdk安装成功。

5 安装hadoop
    5.1 文件操作
        我的登录用户名是brian,看官们可以根据自己的登录名修改:)
        切回brian用户
        " su brian"
        创建安装目录
        " mkdir -p ~/usr/hadoop"
        安装
        " cd ~/usr/hadoop"
        " tar -xvzf ~/setup/hadoop/hadoop-1.1.2.tar.gz"
        解压缩完毕后,就有目录“~/usr/hadoop/hadoop-1.1.2”,这是hadoop的主目录。
        我们按照伪分布式进行配置,也就是用一个机器同时运行NameNode, SecondaryNameNode, DataNode, JobTracker, TaskTracker 5个角色.
        5.2.1 配置文件在"~/usr/hadoop/hadoop-1.1.2/conf/"目录下
        5.2.2 core-site.xml 文件内容修改成如下:
                 <configuration>
                    <property>
                        <name>fs.default.name</name>
                        <value>hdfs://localhost:9000</value>
                    </property>
                </configuration>
    5.2.3 mapred-site.xml文件内容如下:
        <configuration>
            <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value>
            </property>
        </configuration>

   5.2.4 hdfs-site.xml文件内容如下:
        <configuration>
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
        </configuration>
    5.2.5 hadoop-env.sh文件:
        在这里,添加
        export JAVA_HOME=/usr/java/jdk1.7.0_25

6. 安装rsync和ssh
    6.1 安装
        " sudo apt-get install ssh rsync"
    6.2 配置
        执行一下" ssh localhost",如果没有提示让你输入密码,可以忽略以下步骤。如果提示输入密码,则要执行如下步骤:
        " ssh-keygen -t dsa -P -f ~/.ssh/id_dsa"
        " cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys"
        
7. 启动hadoop
    " cd ~/usr/hadoop/hadoop-1.1.2"
    格式化名称节点,如果已经在运行,会提示你否是要重新格式化,选择Y
    " ./bin/hadoop namenode -format
    启动所有节点:
    " ./bin/start-all.sh"
    检查各进程是否运行
    " jps"
    这时候,你应该看到有6个java虚拟机的进程,分别是Jps, NameNode, SecondaryNameNode, DataNode, JobTracker, TaskTracker,看到6个就对了,表明启动成功。

8. 测试hadoop
    " cd ~/usr/hadoop/hadoop-1.1.2"
    将当前目录下的README.txt放到hadoop进行测试:
    " ./bin/hadoop fs -put README.txt readme.txt"
    ls一下hdfs的文件:
    " ./bin/hadoop fs -lsr"
    应该能看到刚才放上去的文件,现在名字是readme.txt
    运行hadoop的examples的wordcount,测试hadoop的执行:
    " ./bin/hadoop jar hadoop-examples-1.1.2.jar wordcount readme.txt output"
    执行完之后,所有的结果会放在output目录里,我们可以看结果文件,如下:   
    " ./bin/hadoop fs -cat output/part-r-00000"
    会显示字符的统计结果。这是一个简单的字符统计,wordcount只是做了简单的处理,非字符符号诸如逗号空格等没有做处理。

© 著作权归作者所有

brian_2017
粉丝 3
博文 61
码字总数 145216
作品 0
私信 提问
Hadoop2.6.0集群搭建

一、Hadoop简述 Hadoop实现了一个分布式文件系统(Hadoop Distributed FileSystem),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(h...

Amui
2016/01/27
972
0
windows下搭建hadoop开发环境(Eclipse)

windows下搭建hadoop开发环境(Eclipse) 注:hadoop 是java 编写的,可以通过java 直接编译出 hadoop 包。因此,操作系统影响 不大,只是需要剥去 linux这个外壳。 材料: 1. JDK 版本"1.7.0_...

庸人谷
2012/11/16
785
0
Ubuntu上安装Hadoop伪分布

JDK版本:jdk-6u45-linux-x64.bin (下载网址:http://www.oracle.com/technetwork/java/javase/downloads/index.html,请到Previous Releases里面找) Hadoop版本:hadoop-0.20.203.0rc1.ta......

KevinWen
2014/04/29
2.5K
1
VMware虚拟机搭建Hadoop2.7.1分布式集群(3台)

【架构介绍】 【准备工作】 1. VMware:11.0.0 build-2305329 (下载:http://pan.baidu.com/s/1skq0oP3 ) 2. CentOS:CentOS-6.7-x86_64-bin-DVD1.iso (下载:http://pan.baidu.com/s/1o7xYg......

Circleblog
2016/07/21
824
0
HADOOP(3.0.0)在CENTOS7(RED HAT 7)下完全分布式环境搭建

一、环境简介 本教程服务器主机都是CentOS 7(Red Hat 7 亦可),集群结点分布情况如下表: 二、Linux 环境准备 01. 创建hadoop用户 02. HOSTNAME 处理 01) 修改服务器的 hostname,使用命令 ...

HICKEYS
2018/01/02
262
0

没有更多内容

加载失败,请刷新页面

加载更多

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二)

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二) List 类型的操作 1、 向列表左侧添加数据 Long leftPush = redisTemplate.opsForList().leftPush("name", name); 2、 向列表右......

TcWong
今天
3
0
排序––快速排序(二)

根据排序––快速排序(一)的描述,现准备写一个快速排序的主体框架: 1、首先需要设置一个枢轴元素即setPivot(int i); 2、然后需要与枢轴元素进行比较即int comparePivot(int j); 3、最后...

FAT_mt
昨天
4
0
mysql概览

学习知识,首先要有一个总体的认识。以下为mysql概览 1-架构图 2-Detail csdn |简书 | 头条 | SegmentFault 思否 | 掘金 | 开源中国 |

程序员深夜写bug
昨天
10
0
golang微服务框架go-micro 入门笔记2.2 micro工具之微应用利器micro web

micro web micro 功能非常强大,本文将详细阐述micro web 命令行的功能 阅读本文前你可能需要进行如下知识储备 golang分布式微服务框架go-micro 入门笔记1:搭建go-micro环境, golang微服务框架...

非正式解决方案
昨天
7
0
前端——使用base64编码在页面嵌入图片

因为页面中插入一个图片都要写明图片的路径——相对路径或者绝对路径。而除了具体的网站图片的图片地址,如果是在自己电脑文件夹里的图片,当我们的HTML文件在别人电脑上打开的时候图片则由于...

被毒打的程序猿
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部