文档章节

hadoop cdh5.1对centos系统本身的配置要求

月下独酌100
 月下独酌100
发布于 2014/11/06 09:25
字数 217
阅读 24
收藏 1

当运行任务的时候,nodemanager 或报出如下错误

java.lang.OutOfMemoryError: unable to create new native thread

解决方式:配置linux本身。

echo "100000" > /proc/sys/kernel/pid_max     

echo "200000" > /proc/sys/vm/max_map_count 


针对centos6.5,追加如下文件

vi /etc/security/limits.d/90-nproc.conf


*          soft    nproc     unlimited

root       soft    nproc     unlimited


 追加如下内容

 /etc/security/limits.conf

* soft nofile 65535

* hard nofile 65535

* hard nproc 100000

* soft    nproc           100000 



ulimit -a 需要配置如下:

例如open files

max user processes


/home/game/.bash_profile 最后一行放

ulimit -u 65535


[ @  sbin]$ ulimit -a

core file size          (blocks, -c) 0

data seg size           (kbytes, -d) unlimited

scheduling priority             (-e) 0

file size               (blocks, -f) unlimited

pending signals                 (-i) 514847

max locked memory       (kbytes, -l) 64

max memory size         (kbytes, -m) unlimited

open files                      (-n) 65535

pipe size            (512 bytes, -p) 8

POSIX message queues     (bytes, -q) 819200

real-time priority              (-r) 0

stack size              (kbytes, -s) 10240

cpu time               (seconds, -t) unlimited

max user processes              (-u) 65535

virtual memory          (kbytes, -v) unlimited

file locks                      (-x) unlimited


© 著作权归作者所有

共有 人打赏支持
月下独酌100
粉丝 26
博文 220
码字总数 56475
作品 0
浦东
高级程序员
centos下安装分布式Hadoop 3.1.1

一)安装环境 centos 7 JDK 1.8.0_181 VMware 12 pro hadoop 3.1.1 二)安装环境准备 分布式系统准备 下面示例中,我安装了3个独立的虚拟机系统,其中HW-Machine作为master,另外2台分别为s...

TaoismLi
08/22
0
0
Hadoop-2.7.4 集群快速搭建

摘要:Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high thro...

souyunku
01/07
0
0
hadoop-伪分布环境搭建

软件要求 centos6.8 jdk1.7 hadoop2.6 centos环境配置 关闭防火墙 主机静态ip vi /etc/sysconfig/network-scripts/ifcfg-eth0 #修改网络配置文件 修改主机名 vi /etc/sysconfig/network 修改...

云淡V
2016/06/28
14
0
VirtualBox、CentOS 6.4、Hadoop、Hive玩起

1 安装VirtualBox: VirtualBox是一款开源免费的并且非常强大的虚拟机软件,同时支持X86和AMD64/Intel64,可以在多个操作系统平台上运行。与同性质的VMWare和Virtual PC比较,VirtualBox独到...

smile_zjw
2013/11/26
0
1
HDFS简介【全面讲解】

http://www.cnblogs.com/chinacloud/archive/2010/12/03/1895369.html 【一】HDFS简介 HDFS的基本概念1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M......

imzdx
2016/01/14
0
0

没有更多内容

加载失败,请刷新页面

加载更多

linux 系统的运行级别

运行级别 运行级别 | 含义 0 关机 1 单用户模式,可以想象为windows 的安全模式,主要用于修复系统 2 不完全的命令模式,不含NFS服务 3 完全的命令行模式,就是标准的字符界面 4 系统保留 5 ...

Linux学习笔记
今天
2
0
学习设计模式——命令模式

任何模式的出现,都是为了解决一些特定的场景的耦合问题,以达到对修改封闭,对扩展开放的效果。命令模式也不例外: 命令模式是为了解决命令的请求者和命令的实现者之间的耦合关系。 解决了这...

江左煤郎
今天
3
0
字典树收集(非线程安全,后续做线程安全改进)

将500W个单词放进一个数据结构进行存储,然后进行快速比对,判断一个单词是不是这个500W单词之中的;来了一个单词前缀,给出500w个单词中有多少个单词是该前缀. 1、这个需求首先需要设计好数据结...

算法之名
昨天
15
0
GRASP设计模式

此文参考了这篇博客,建议读者阅读原文。 面向对象(Object-Oriented,OO)是当下软件开发的主流方法。在OO分析与设计中,我们首先从问题领域中抽象出领域模型,在领域模型中以适当的粒度归纳...

克虏伯
昨天
1
0
Coding and Paper Letter(四十)

资源整理。 1 Coding: 1.Tomislav Hengl撰写的非官方作者指南:Michael Gould•Wouter Gerritsma。 UnofficialGuide4Authors 2.R语言包rwrfhydro,社区贡献的工具箱,用于管理,分析和可视化...

胖胖雕
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部