文档章节

hadoop机器 linux本身配置

月下独酌100
 月下独酌100
发布于 2014/11/03 17:12
字数 210
阅读 13
收藏 0

1.配置open file数量

以root用户登录

vi /etc/security/limits.conf

在文件后面增加下面配置,保存,退出,再登录就生效

*               soft    nofile          32768

*               hard    nofile          32768



2.配置最大进程数

ulimit -u

用户启动的最大线程数

root下启动的进程数,可能和其他用户下启动的进程数据不一样


加入.bash_profile

for i in {1 2 3 4 5 6 7 8 9};do ssh hadoop00${i} "echo 'ulimit -u 65535' > /home/game/.bash_profile" ;done

source下 for i in 1 2 3 4 5 6 7 8 9;do ssh game@hadoop00${i} "source /home/game/.bash_profile" ;done

检查   for i in 1 2 3 4 5 6 7 8 9;do ssh game@hadoop00${i} "ulimit -a" ;done

  

3.保证免登陆

保证ssh localhost能够访问

保证域名简称能免登陆,例如将hadoop009 的ip配置了两份

111 hadoop009

111 h9 


© 著作权归作者所有

共有 人打赏支持
月下独酌100
粉丝 26
博文 220
码字总数 56475
作品 0
浦东
高级程序员
私信 提问
eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务

1 eclipse中hadoop环境部署概览 eclipse中部署hadoop包括两大部分:hdfs环境部署和mapreduce任务执行环境部署。一般hdfs环境部署比较简单,部署后就 可以在eclipse中像操作windows目录一样操...

闵开慧
2014/11/03
0
0
hadoop完全分布式集群搭建

hadoop分布式集群搭搭建(环境:linux虚拟机上) 1.准备工作:(规划主机名,ip及用途,先搭建三台,第四台动态的添加 用途栏中,也可以把namenode,secondaryNamenode及jobTracker 分开部署,看实际需求...

迪allen
2014/03/21
0
0
Hadoop集群(第5期)_Hadoop安装配置

1、集群部署介绍 1.1 Hadoop简介   Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapRed...

Carl_
2015/06/25
0
0
hadoop2.6.0安装配置

注意: 1.有关core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml的配置,参考:hadoop2.x的配置 2.有关hadoop的命令,参考:hadoop2.x的命令 3.先修改一台机器的配置文件,剩余...

cjun1990
2015/03/25
0
0
史上最详细的Hadoop环境搭建

GitChat 作者:鸣宇淳 原文: 史上最详细的Hadoop环境搭建 前言 Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术...

qq_34457768
05/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

solr使用规范

0. 目的 规范solr设计、用法,避免bug,提高性能 1. 设计规范 solr的用途是查询,不是存储,建议查询结果尽量都为id主键,而后再拿该id主键到缓存或者db中再查询相关信息,例如:请勿将经销商...

andersChow
21分钟前
1
0
11-《深度拆解JVM》之Java对象的内存布局

一、问题引入 在 Java 程序中,我们拥有多种新建对象的方式。除了最为常见的 new 语句之外,我们还可以通过反射机制、Object.clone 方法、反序列化以及 Unsafe.allocateInstance 方法来新建对...

飞鱼说编程
25分钟前
1
0
Windows Install Docker

win7、win8 win7、win8 等需要利用 docker toolbox 来安装,国内可以使用阿里云的镜像来下载,下载地址:http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/ docker toolbox...

linuxprobe16
30分钟前
1
0
混合云环境中扩展Kubernetes的挑战及方案

流量突增时,我们需要扩展应用程序以满足用户需求。本文分享了扩展Kubernetes以及管理混合云环境时可能遇到的挑战,以及如何简单高效地完成Kubernetes扩展。 引 言 假设您的业务是在线的:您...

RancherLabs
38分钟前
1
0
Java集合小抄

Java集合小抄 1. List 1.1 ArrayList 以数组实现。节约空间,但是数组有容量限制。超出限制时会增加50%容量,用System.arraycopy()复制到新的数组。因此最好能给出数组大小的预估值。默认第一...

傅小水water
45分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部