文档章节

流水账 - 初始化hadoop服务所要使用到的命令

巴林的狗尾草
 巴林的狗尾草
发布于 2017/04/21 09:46
字数 331
阅读 13
收藏 0

 一年多前简单研究过hadoop,环境centos 6.5 64bit.使用下面的命令逐步助兴即可初始化,留着自己用的。

cd /opt
wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz
tar -xvf hadoop-2.6.4.tar.gz 
ln -s hadoop-2.6.4 hadoop
cp ./etc/hadoop/* input
bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+' 
cat output/*


rpm -ivh http://nginx.org/packages/centos/6/noarch/RPMS/nginx-release-centos-6-0.el6.ngx.noarch.rpm
yum install nginx
service nginx start

iptables -I INPUT -p tcp --dport 80 -j ACCEPT
service iptables save
service iptables restart
service iptables status

http://10.132.65.77/hadoop-project-dist/hadoop-common/SingleCluster.html

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

iptables -I INPUT -p tcp --dport 50070 -j ACCEPT

bin/hdfs dfs -put etc/hadoop /user

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep /user output 'dfs[a-z.]+'

bin/hdfs dfs -get output output
bin/hdfs dfs -cat output/* -- this is not working

iptables -I INPUT -p tcp --dport 8088 -j ACCEPT

iptables -I INPUT -p tcp --dport 9000 -j ACCEPT

iptables -I INPUT -p tcp --dport 50090 -j ACCEPT
iptables -I INPUT -p tcp --dport 50070 -j ACCEPT
iptables -I INPUT -p tcp --dport 50010 -j ACCEPT
iptables -I INPUT -p tcp --dport 50075 -j ACCEPT
iptables -I INPUT -p tcp --dport 50020 -j ACCEPT


iptables -I INPUT -p tcp --dport 8040 -j ACCEPT
iptables -I INPUT -p tcp --dport 8042 -j ACCEPT
iptables -I INPUT -p tcp --dport 8088 -j ACCEPT
iptables -I INPUT -p tcp --dport 8030 -j ACCEPT
iptables -I INPUT -p tcp --dport 8031 -j ACCEPT
iptables -I INPUT -p tcp --dport 8032 -j ACCEPT
iptables -I INPUT -p tcp --dport 8033 -j ACCEPT

 bin/hdfs namenode -format


javac -classpath ${HADOOP_HOME}/hadoop-${HADOOP_VERSION}-core.jar -d wordcount_classes WordCount.java 
 

 

© 著作权归作者所有

上一篇: 最佳损友
巴林的狗尾草

巴林的狗尾草

粉丝 50
博文 72
码字总数 41505
作品 1
浦东
高级程序员
私信 提问
Windows下mySql安装

参考:http://www.runoob.com/mysql/mysql-install.html 下载MySQL 下载地址 压缩包解压到:E:softwaremysql-8.0.12-winx64 配置MySql 进入E:softwaremysql-8.0.12-winx64,在该文件夹下创建......

OceanStar
2018/10/17
16
0
hue(03)、Hue切换MySql作为元数据库

Hue服务默认使用的是内嵌的sqlite数据库作为自己的源数据库,sqlite数据库毕竟是属于一款轻型的数据库服务,在实际项目中还是建议切换MySql或者oracle作为元数据库服务,本文将切换MySql作为...

MaxBill
2018/01/26
491
0
大数据实验室(大数据基础培训)——Hadoop的安装、配置及基础使用

为某企业做的培训,完整文档见:http://gudaoxuri.github.io/bd-lab/ 6. Hadoop 此主题介绍Hadoop的安装、配置及基础使用。 Hadoop介绍 https://www.ibm.com/developerworks/cn/data/library...

孤岛旭日
2016/05/06
74
0
Linux下安装Hadoop(2.7.1)详解及WordCount运行

一、引言   在完成了Storm的环境配置之后,想着鼓捣一下Hadoop的安装,网上面的教程好多,但是没有一个特别切合的,所以在安装的过程中还是遇到了很多的麻烦,并且最后不断的查阅资料,终于...

oO维尼熊Oo
2018/05/03
13
0
构建Hadoop+Hbase+ZooKeeper分布式存储

前言* Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。对于我来说,最近的一个使用点就是服务集成平台的日志分析。服...

wgkgood
2017/02/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

规则引擎

解决问题 版本迭代速度更不上业务变化,但是若多个业务同时变化,除了为每个业务设计专属配置项也不利于操作。就想服务接口单纯化,将复杂多变的业务逻辑交给规则引擎,让用户在web端或cs端自...

无极之岚
23分钟前
4
0
OSChina 周三乱弹 —— 欢迎你来做产品经理

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @巴拉迪维 :10多次劲歌金曲获奖,更多叱咤歌坛排名,黎明才应该是四大天王之首,只可惜拍的电影太少。单曲循环一个多月的歌,力荐 《无名份的...

小小编辑
今天
202
9
500行代码,教你用python写个微信飞机大战

这几天在重温微信小游戏的飞机大战,玩着玩着就在思考人生了,这飞机大战怎么就可以做的那么好,操作简单,简单上手。 帮助蹲厕族、YP族、饭圈女孩在无聊之余可以有一样东西让他们振作起来!...

上海小胖
今天
10
0
关于AsyncTask的onPostExcute方法是否会在Activity重建过程中调用的问题

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/XG1057415595/article/details/86774575 假设下面一种情况...

shzwork
今天
7
0
object 类中有哪些方法?

getClass(): 获取运行时类的对象 equals():判断其他对象是否与此对象相等 hashcode():返回该对象的哈希码值 toString():返回该对象的字符串表示 clone(): 创建并返此对象的一个副本 wait...

happywe
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部