文档章节

Hadoop学习记录

傅小水water
 傅小水water
发布于 2017/04/07 16:12
字数 1231
阅读 3
收藏 0

#第一章、安装Linux服务器 本教程安装的是CentOS系统。 安装完VMware虚拟机后,运行虚拟机,点击“创建新的虚拟机”,选择典型安装模式,点机下一步。 输入图片说明
选择下载的镜像文件,点下一步。 输入图片说明
用户名不能使用root,root是Linux保留的最高权限用户,填写完成点下一步。 输入图片说明
选择虚拟机保存出的路径,点下一步。 输入图片说明
配置虚拟机硬盘大小,点下一步。 输入图片说明
在这一步,点击自定义硬件,可以自定义配置虚拟机的各项数据,配置完点完成,启动虚拟机开始安装。 输入图片说明

#第二章、Hadoop的伪分布安装 伪分布安装的环境是:CentOS系统和Windows 7系统,在VMware上安装CentOS系统与Windows通过host-only的方式组网。 ##Linux环境配置
Host-only方式组网需要在Windows上开启VM虚拟网卡,并设置静态IP。
CentOS的用户名:root,密码:tank
Windows的网络,VMware Network Adapter VMnet1

  • 1、在CentOS上设置静态IP。
    在System菜单下选择Network Connections,双击System ech0,选择IPv4 Settings选项卡,Method选择Manual(静态),然后新增一条IP记录,填写IP地址、子网掩码、网关,点击应用。
    输入图片说明
  • 2、打开CentOS终端,重启网卡。
    输入命令:service network restart。
    验证:使用ifconfig查看IP地址是否更改生效。
    输入图片说明
    输入图片说明
  • 3、修改主机名,主机名相当于域名,用来访问该主机的名字。
    查看主机名,命令:hostname。
    修改主机名有两种方法:
    A: 修改当前会话主机名,命令是hostname <主机名>。
    B: 修改配置文件,是永久性的修改,在vi /etc/sysconfig/network,把hostname改成hadoop。
    输入图片说明
    输入图片说明
  • 4、把hostname与ip绑定。
    执行命令vi /etc/hosts,在最下面新增一行内容,如下:192.168.40.100 hadoop,保存退出。
    验证:ping hadoop,如果有包返回则修改成功。
    输入图片说明
    输入图片说明
    输入图片说明
  • 5、关闭防火墙和关闭防火墙的自动启动。
    <1> 查看防火墙命令:service iptables status。
    <2> 关闭防火墙命令:service iptables stop。
    验证是否关闭:service iptables status。

    <3> 查看防火墙是否自动启动:chkconfig --list | grep iptables。
    <4> 关闭防火墙自动启动:chkconfig iptables off。
    验证防火墙是否自动启动:chkconfig --list | grep iptables,全部是off则为成功。
  • 6、设置SSH(Secure Shell)的免密码登陆。首先生成密钥,然后把密钥复制一份,名字为authorized_keys【必须为该名字,登录时会读取该文件】。
    <1> 执行命令 ssh-keygen –t rsa 产生密钥,一直回车即可,密钥位于 ~/.ssh/id_rsa.pub
    <2> 执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
    验证:ssh localhost
    输入图片说明
    输入图片说明
    输入图片说明
    ##安装JDK <1> 执行命,rm -rf /usr/local/* 删除所有内容。
    <2> 使用WinSCP工具把jdk-6u45-linux-x64.bin传送到CentOS的/user/local文件夹下。
    <3> 执行命令,chmod u+x jdk-6u45-linux-x64.bin,给jdk-6u45-linux-x64.bin文件赋予执行权限。
    <4> 执行命令,./ jdk-6u45-linux-x64.bin 解压缩。
    <5> 执行命令,mv jdk-6u45-linux-x64.bin jdk 重命名
    <6> 执行命令,vi /etc/profile 设置环境变量,在空白处增加两行内容
    export JAVA_HOME=/usr/local/jdk
    export PATH=.:$JAVA_HOME/bin:$PATH
    <7> 执行命令,source /etc/profile 让该设置立即生效
    验证:执行命令,java –version
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明

安装Hadoop

<1> 使用WinSCP工具把jdk-6u45-linux-x64.bin传送到CentOS的/user/local文件夹下。
<2> 执行命令,tar -zxvf hadoop-1.2.1.tar.gz 解压缩Hadoop。
<3> 执行命令,mv hadoop-1.2.1 hadoop,修改文件名称
<3> 执行命令,vi /etc/profile 设置环境变量

export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

<4> 执行命令,source /etc/profile 让配置立即生效
<5> 修改hadoop的配置文件,位于$HADOOP_HOME/conf文件夹下。

【注:可以用WinSCP工具直接进行修改】  
【注:配置文件中不允许出现中文,否则无法执行】   
【hadoop 环境变量脚本文件hadoop-env.sh】  
        A: 把行首的‘#’号删掉  
        B: export JAVA_HOME=/usr/local/jdk。  

【hadoop 核心配置文件core-site.xml】

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop:9000</value>
    </property>
</configuration>

【hdfs 配置文件hdfs-site.xml】

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

【MapReduce 配置文件mapred-site.xml】

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop:9001</value>
    </property>
</configuration>

<6> 执行命令,hadoop namenode -format 对hadoop进行格式化。
<7> 执行命令,start-all.sh,启动hadoop,总共有五个进程启动。分别是namenode、datanode、secondarynamenode、jobtracker、tasktracker。
验证:执行命令,jps,显示上面五个进程就启动成功了。
<8> 通过Linux浏览器访问:http://hadoop:50070http://hadoop:50030
【windows下访问,需要修改C:\Windows\System32\drivers\etc\hosts文件,对IP和域名进行绑定】。
<9> NameNode进程没有启动成功。

(1)	没有格式化。
(2)	配置文件只copy,不修改。
(3)	Hostname和ip没有绑定。
(4)	SSH免密码登录没有配置成功 

<10> 多次格式化hadoop也是错误的。
方法:删除/usr/local/hadoop/tmp文件夹,重新格式化。
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明

© 著作权归作者所有

共有 人打赏支持
傅小水water
粉丝 1
博文 17
码字总数 9373
作品 0
杭州
Mahout安装与配置笔记

一、硬件环境 操作系统:Linux ubuntu-13.04-desktop-i386 jdk安装版本:jdk-7u51-linux-i586 Hadoop版本:Hadoop-1.1.1(一个Namenode,三个Datanode部署) 二、安装步骤 在Mahout安装之前读...

kartik
2014/06/01
0
0
eclipse编译hadoop源码

由于开发mapreduce的时候,有时需要看源码,再次down下来,编译了下,仅作为学习记录 首先需要安装ant,svn(我用的是eclipse的插件); svn地址:http://svn.apache.org/repos/asf/hadoop/co...

东岸往事
2013/01/05
0
0
Hadoop家族学习路线图

权声明:本文为博主原创文章,未经博主允许不得转载。 目录(?)[+] 主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增...

_Mr_Computer_
2016/07/13
0
0
我们正在开发中,如果你对机器学习、深度学习感兴趣,希望你加入我们的团队!

我们正在开发中,如果你对机器学习、深度学习感兴趣,希望你加入我们的团队! 我们的打算: 构建一个企业级的推荐系统,支持100亿条偏好处理能力; 使用的技术:a) 推荐算法:SVD、matrix fa...

wuawua
2014/04/24
1K
26
Linux命令行下运行Hadoop单元测试

最近在学习Hadoop,在虚拟机上面的Centos系统下搭建了一个单机的Hadoop系统,对照《Hadoop权威指南》一边看一边运行里面的例子。由于大部分程序员都是用Eclipse来开发Hadoop程序,但我习惯于...

chyileon
2013/05/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

c语言之内存分配笔记

先看一个数组: short array[5] = {1,2} // 这儿定义的一个int类型的数组,数组第1和第2个元素值是1和2.其余后面默认会给值为0; 或者 short array[] = {1,2};//这儿数组第1和第2个元素,数组...

DannyCoder
今天
2
0
Shell | linux安装包不用选择Y/N的方法

apt-get install -y packageOR echo "y" | sudo apt-get install package

云迹
今天
2
0
Hadoop的大数据生态圈

基于Hadoop的大数据的产品圈 大数据产品的一句话概括 Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架...

zimingforever
今天
5
0
八大包装类型的equals方法

先看其中一个源码 结论:八大包装类型的equals方法都是先判断类型是否相同,不相同则是false,相同则判断值是否相等 注意:包装类型不能直接用==来等值比较,否则编译报错,但是数值的基本类型...

xuklc
今天
2
0
NoSQL , Memcached介绍

什么是NoSQL 非关系型数据库就是NoSQL,关系型数据库代表MySQL 对于关系型数据库来说,是需要把数据存储到库、表、行、字段里,查询的时候根据条件一行一行地去匹配,当量非常大的时候就很耗...

TaoXu
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部