文档章节

hadoop cdh5.1对centos系统本身的配置要求

月下独酌100
 月下独酌100
发布于 2014/11/06 09:25
字数 217
阅读 25
收藏 1

当运行任务的时候,nodemanager 或报出如下错误

java.lang.OutOfMemoryError: unable to create new native thread

解决方式:配置linux本身。

echo "100000" > /proc/sys/kernel/pid_max     

echo "200000" > /proc/sys/vm/max_map_count 


针对centos6.5,追加如下文件

vi /etc/security/limits.d/90-nproc.conf


*          soft    nproc     unlimited

root       soft    nproc     unlimited


 追加如下内容

 /etc/security/limits.conf

* soft nofile 65535

* hard nofile 65535

* hard nproc 100000

* soft    nproc           100000 



ulimit -a 需要配置如下:

例如open files

max user processes


/home/game/.bash_profile 最后一行放

ulimit -u 65535


[ @  sbin]$ ulimit -a

core file size          (blocks, -c) 0

data seg size           (kbytes, -d) unlimited

scheduling priority             (-e) 0

file size               (blocks, -f) unlimited

pending signals                 (-i) 514847

max locked memory       (kbytes, -l) 64

max memory size         (kbytes, -m) unlimited

open files                      (-n) 65535

pipe size            (512 bytes, -p) 8

POSIX message queues     (bytes, -q) 819200

real-time priority              (-r) 0

stack size              (kbytes, -s) 10240

cpu time               (seconds, -t) unlimited

max user processes              (-u) 65535

virtual memory          (kbytes, -v) unlimited

file locks                      (-x) unlimited


© 著作权归作者所有

月下独酌100
粉丝 26
博文 220
码字总数 56475
作品 0
浦东
高级程序员
私信 提问
centos下安装分布式Hadoop 3.1.1

一)安装环境 centos 7 JDK 1.8.0_181 VMware 12 pro hadoop 3.1.1 二)安装环境准备 分布式系统准备 下面示例中,我安装了3个独立的虚拟机系统,其中HW-Machine作为master,另外2台分别为s...

TaoismLi
2018/08/22
0
0
Hadoop-2.7.4 集群快速搭建

摘要:Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high thro...

souyunku
2018/01/07
0
0
hadoop-伪分布环境搭建

软件要求 centos6.8 jdk1.7 hadoop2.6 centos环境配置 关闭防火墙 主机静态ip vi /etc/sysconfig/network-scripts/ifcfg-eth0 #修改网络配置文件 修改主机名 vi /etc/sysconfig/network 修改...

云淡V
2016/06/28
21
0
VirtualBox、CentOS 6.4、Hadoop、Hive玩起

1 安装VirtualBox: VirtualBox是一款开源免费的并且非常强大的虚拟机软件,同时支持X86和AMD64/Intel64,可以在多个操作系统平台上运行。与同性质的VMWare和Virtual PC比较,VirtualBox独到...

smile_zjw
2013/11/26
1K
1
大数据教程(6.4)centos6.9安装hadoop2.9.1

在上一篇博客,博主为大家讲述了centos6.9上编译hadoop2.9.1全过程,这一章节博主将带着大家一起来安装hadoop。 本篇博客中可能用到的额外的命令: 一、首先上传编译好的hadoop2.9.1.tar.gz(...

em_aaron
2018/10/31
229
1

没有更多内容

加载失败,请刷新页面

加载更多

NASA的10条编码规则

关于NASA的10条编程规则,他们曾表示:这些规则的作用就像汽车上的安全带:最初,它们可能有点不舒服,但过了一会儿,它们的使用就变成了第二天性,而没有使用它们就变得不可想象。 Gerard J...

京东云技术新知
26分钟前
78
0
TortoiseSVN图标未显示在Windows 7下

我似乎无法在Windows 7下显示图标,我真的很想念Windows XP。 怎么修好? #1楼 他们在这里展示得很好 您使用的是64位版本的Windows 7以及32位版本的TortoiseSVN吗? 如果是这样,那么它们只会...

javail
50分钟前
94
0
开源播放器

DPlayer

glen_xu
57分钟前
190
0
gitlab Error:Gitaly - load linguist colors - permission denied

报错信息 2020-01-20_14:35:08.43180 time=“2020-01-20T14:35:08Z” level=info msg=“Starting Gitaly” version=“Gitaly, version 0.81.0, built 20180225.183225” 2020-01-20_14:35:0......

JennerLuo
今天
129
0
微信小程序的自动化测试框架

微信发布了小程序的自动化测试框架Minium,提供了多种运行验证方式,其特点: 支持一套脚本,iOS & Android & 模拟器,三端运行 提供丰富的页面跳转方式,看不到也能去得到 可以获取和设置小...

测者陈磊
今天
88
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部