ubuntu hadoop学习 环境搭建
ubuntu hadoop学习 环境搭建
o_冰茶_o 发表于1个月前
ubuntu hadoop学习 环境搭建
  • 发表于 1个月前
  • 阅读 3
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 十分钟定制你的第一个小程序>>>   

单机模式

下载hadoop-2.7.3.tar.gz 并解压缩

安装java环境

sudo apt install openjdk-8-jdk

 

设置环境变量

vim /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

export HADOOP_HOME=/usr/local/hadoop

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HADOOP_HOME/bin

保存文件

source /etc/profile

 

修改haddoop中的配置文件

/usr/local/hadoop/etc/hadoop/core-site.xml

 

修改etc/hadoop/hdfs-site.xml

 

 

#无密码登录设置
ssh-keygen -t dsa

ssh-copy-id  -i ~/.ssh/id_rsa.pub root@172.16.242.100
#格式化hdfs
/usr/local/hadoop/bin/hdfs namenode -format

 

#启动dfs测试
/usr/local/hadoop/sbin/start-dfs.sh

测试代码

hdfs dfs -mkdir /input

hdfs dfs -put etc/hadoop /input



hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep /input /output 'dfs[a-z.]+'

hdfs dfs -cat output/*

 

共有 人打赏支持
粉丝 0
博文 10
码字总数 3187
×
o_冰茶_o
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: