文档章节

hadoop机器 linux本身配置

月下独酌100
 月下独酌100
发布于 2014/11/03 17:12
字数 210
阅读 13
收藏 0

1.配置open file数量

以root用户登录

vi /etc/security/limits.conf

在文件后面增加下面配置,保存,退出,再登录就生效

*               soft    nofile          32768

*               hard    nofile          32768



2.配置最大进程数

ulimit -u

用户启动的最大线程数

root下启动的进程数,可能和其他用户下启动的进程数据不一样


加入.bash_profile

for i in {1 2 3 4 5 6 7 8 9};do ssh hadoop00${i} "echo 'ulimit -u 65535' > /home/game/.bash_profile" ;done

source下 for i in 1 2 3 4 5 6 7 8 9;do ssh game@hadoop00${i} "source /home/game/.bash_profile" ;done

检查   for i in 1 2 3 4 5 6 7 8 9;do ssh game@hadoop00${i} "ulimit -a" ;done

  

3.保证免登陆

保证ssh localhost能够访问

保证域名简称能免登陆,例如将hadoop009 的ip配置了两份

111 hadoop009

111 h9 


© 著作权归作者所有

共有 人打赏支持
月下独酌100
粉丝 26
博文 220
码字总数 56475
作品 0
浦东
高级程序员
私信 提问
hadoop完全分布式集群搭建

hadoop分布式集群搭搭建(环境:linux虚拟机上) 1.准备工作:(规划主机名,ip及用途,先搭建三台,第四台动态的添加 用途栏中,也可以把namenode,secondaryNamenode及jobTracker 分开部署,看实际需求...

迪allen
2014/03/21
0
0
Hadoop集群(第5期)_Hadoop安装配置

1、集群部署介绍 1.1 Hadoop简介   Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapRed...

Carl_
2015/06/25
0
0
Windows下的Mapreduce开发应用部署到Hadoop:java.net.UnknownHostException:XXX

不管,你是在windows下作mapreduce的编程开发,还是想把App部署到已有的hadoop集群上run on hadoop,当然单机伪分布就不说了,有可能遇到以下问题: run on hadoop时出现 java.net.UnknownHo...

加油_张
2013/11/30
0
0
hadoop2.6.0安装配置

注意: 1.有关core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml的配置,参考:hadoop2.x的配置 2.有关hadoop的命令,参考:hadoop2.x的命令 3.先修改一台机器的配置文件,剩余...

cjun1990
2015/03/25
0
0
史上最详细的Hadoop环境搭建

GitChat 作者:鸣宇淳 原文: 史上最详细的Hadoop环境搭建 前言 Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术...

qq_34457768
2018/05/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

苏宁金融红包系统大促海量流量背后的技术支撑

发红包是目前各大互联网公司最常用的营销手段之一,它形式多样,内容丰富。2016 年底苏宁金融开启了红包系统及相关系统的项目开发。 本文将对苏宁金融红包系统的架构部署方式、演变过程、技术...

架构师springboot
14分钟前
3
0
Linux恢复误删除的文件或者目录

2017 年 2 月 1 日 GitLab 数据库被误删引起了广大争议. linux不像windows有个回收站,使用rm -rf *基本上文件是找不回来的。 那么问题来了: 对于linux下误删的文件,我们是否真的无法通过软...

Goopand
15分钟前
1
0
从NeurIPS 2018看AI发展路线!

摘要: 从NeurIPS 2018看AI发展路线! 去年9月份的时候,我发表过一份技术报告,阐述了我认为人工智能最重要的挑战,大概有以下四个方面: ·可伸缩性(Scalability)计算或存储的成本不与神...

阿里云官方博客
16分钟前
1
0
快速入门:selenium自动化测试+ubuntu系统+php语言+firefox/chrome浏览器

前言 selenium可用于界面UI自动化测试,因此也可用于来做一些自动化方面的事情。下面简单总结概括一下,对于一位新手,学习和使用selenium的基本过程。 本文只要针对:selenium自动化测试+ub...

暗夜在火星
18分钟前
1
0
List集合知识总结

转载: 一:集合的概念 集合:保存数量不确定的数据,以及保存具有映射关系的数据的容器,简单的理解就是用于存储数量不等的多个对象的容器。 集合和数组不一样,数组元素既可以是基本类型的值...

小橙子的曼曼
19分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部