文档章节

hadoop机器 linux本身配置

月下独酌100
 月下独酌100
发布于 2014/11/03 17:12
字数 210
阅读 13
收藏 0

1.配置open file数量

以root用户登录

vi /etc/security/limits.conf

在文件后面增加下面配置,保存,退出,再登录就生效

*               soft    nofile          32768

*               hard    nofile          32768



2.配置最大进程数

ulimit -u

用户启动的最大线程数

root下启动的进程数,可能和其他用户下启动的进程数据不一样


加入.bash_profile

for i in {1 2 3 4 5 6 7 8 9};do ssh hadoop00${i} "echo 'ulimit -u 65535' > /home/game/.bash_profile" ;done

source下 for i in 1 2 3 4 5 6 7 8 9;do ssh game@hadoop00${i} "source /home/game/.bash_profile" ;done

检查   for i in 1 2 3 4 5 6 7 8 9;do ssh game@hadoop00${i} "ulimit -a" ;done

  

3.保证免登陆

保证ssh localhost能够访问

保证域名简称能免登陆,例如将hadoop009 的ip配置了两份

111 hadoop009

111 h9 


© 著作权归作者所有

共有 人打赏支持
月下独酌100
粉丝 25
博文 220
码字总数 56475
作品 0
浦东
高级程序员
eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务

1 eclipse中hadoop环境部署概览 eclipse中部署hadoop包括两大部分:hdfs环境部署和mapreduce任务执行环境部署。一般hdfs环境部署比较简单,部署后就 可以在eclipse中像操作windows目录一样操...

闵开慧
2014/11/03
0
0
hadoop完全分布式集群搭建

hadoop分布式集群搭搭建(环境:linux虚拟机上) 1.准备工作:(规划主机名,ip及用途,先搭建三台,第四台动态的添加 用途栏中,也可以把namenode,secondaryNamenode及jobTracker 分开部署,看实际需求...

迪allen
2014/03/21
0
0
Hadoop集群(第5期)_Hadoop安装配置

1、集群部署介绍 1.1 Hadoop简介   Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapRed...

Carl_
2015/06/25
0
0
Windows下的Mapreduce开发应用部署到Hadoop:java.net.UnknownHostException:XXX

不管,你是在windows下作mapreduce的编程开发,还是想把App部署到已有的hadoop集群上run on hadoop,当然单机伪分布就不说了,有可能遇到以下问题: run on hadoop时出现 java.net.UnknownHo...

加油_张
2013/11/30
0
0
虚拟机中Linux克隆后相关配置-1

由于之前删了一天Linux虚拟机,导致现在hadoop集群datanode节点启动失败。现在需要重新克隆一台Linux。新克隆Linux后,需要对它进行相关配置,重新集成到hadoop集群中。下面记录具体配置过程...

hiqj
2014/04/11
0
6

没有更多内容

加载失败,请刷新页面

加载更多

下一页

idea新建springCloud项目(5)- 订单服务

1.创建订单api,如下: 2.创建订单实现逻辑 3.新建订单、订单商品表 -- 订单 create table `order_master` ( `order_id` varchar(32) not null, `buyer_name` varchar(32) not null comment......

monroeCode
4分钟前
0
0
游戏开发经验谈(二):对战类全球服游戏的设计与实现

上篇文章《游戏开发经验谈(一):游戏架构里隐藏的五个坑及其应对方案》,我们主要讲解了游戏架构设计当中隐藏的一些坑及其应对方案,错过的小伙伴可以回溯之前的内容。本期内容,将会重点介...

UCloudTech
14分钟前
0
0
Mysql基本语法

一.联合主键 drop table CONTENT_AND_CATALOG;CREATE TABLE `tobebetter`.`CONTENT_AND_CATALOG` ( `ID` VARCHAR(120) NOT NULL , `CONTENT_ID` VARCHAR(120) , `CA......

我是菜鸟我骄傲
15分钟前
0
0
179. centos7 安装mariadb

1. centos7 中安装mariadb 1.1 执行安装 centos7 自带了mariadb yum -y install mariadb mariadb-server 1.2 启动mariadb systemctl start mariadb 1.3 设置开机启动 systemctl enable maria......

Lucky_Me
22分钟前
0
0
【AI实战】动手训练自己的目标检测模型(YOLO篇)

在前面的文章中,已经介绍了基于SSD使用自己的数据训练目标检测模型(见文章:手把手教你训练自己的目标检测模型),本文将基于另一个目标检测模型YOLO,介绍如何使用自己的数据进行训练。 ...

雪饼
29分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部