文档章节

hadoop cdh5.1对centos系统本身的配置要求

月下独酌100
 月下独酌100
发布于 2014/11/06 09:25
字数 217
阅读 24
收藏 1

当运行任务的时候,nodemanager 或报出如下错误

java.lang.OutOfMemoryError: unable to create new native thread

解决方式:配置linux本身。

echo "100000" > /proc/sys/kernel/pid_max     

echo "200000" > /proc/sys/vm/max_map_count 


针对centos6.5,追加如下文件

vi /etc/security/limits.d/90-nproc.conf


*          soft    nproc     unlimited

root       soft    nproc     unlimited


 追加如下内容

 /etc/security/limits.conf

* soft nofile 65535

* hard nofile 65535

* hard nproc 100000

* soft    nproc           100000 



ulimit -a 需要配置如下:

例如open files

max user processes


/home/game/.bash_profile 最后一行放

ulimit -u 65535


[ @  sbin]$ ulimit -a

core file size          (blocks, -c) 0

data seg size           (kbytes, -d) unlimited

scheduling priority             (-e) 0

file size               (blocks, -f) unlimited

pending signals                 (-i) 514847

max locked memory       (kbytes, -l) 64

max memory size         (kbytes, -m) unlimited

open files                      (-n) 65535

pipe size            (512 bytes, -p) 8

POSIX message queues     (bytes, -q) 819200

real-time priority              (-r) 0

stack size              (kbytes, -s) 10240

cpu time               (seconds, -t) unlimited

max user processes              (-u) 65535

virtual memory          (kbytes, -v) unlimited

file locks                      (-x) unlimited


© 著作权归作者所有

共有 人打赏支持
月下独酌100
粉丝 26
博文 220
码字总数 56475
作品 0
浦东
高级程序员
私信 提问
centos下安装分布式Hadoop 3.1.1

一)安装环境 centos 7 JDK 1.8.0_181 VMware 12 pro hadoop 3.1.1 二)安装环境准备 分布式系统准备 下面示例中,我安装了3个独立的虚拟机系统,其中HW-Machine作为master,另外2台分别为s...

TaoismLi
2018/08/22
0
0
Hadoop-2.7.4 集群快速搭建

摘要:Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high thro...

souyunku
2018/01/07
0
0
hadoop-伪分布环境搭建

软件要求 centos6.8 jdk1.7 hadoop2.6 centos环境配置 关闭防火墙 主机静态ip vi /etc/sysconfig/network-scripts/ifcfg-eth0 #修改网络配置文件 修改主机名 vi /etc/sysconfig/network 修改...

云淡V
2016/06/28
14
0
VirtualBox、CentOS 6.4、Hadoop、Hive玩起

1 安装VirtualBox: VirtualBox是一款开源免费的并且非常强大的虚拟机软件,同时支持X86和AMD64/Intel64,可以在多个操作系统平台上运行。与同性质的VMWare和Virtual PC比较,VirtualBox独到...

smile_zjw
2013/11/26
0
1
大数据教程(6.4)centos6.9安装hadoop2.9.1

在上一篇博客,博主为大家讲述了centos6.9上编译hadoop2.9.1全过程,这一章节博主将带着大家一起来安装hadoop。 本篇博客中可能用到的额外的命令: 一、首先上传编译好的hadoop2.9.1.tar.gz(...

em_aaron
2018/10/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

BCryptPasswordEncoder加密工具类

Spring Security 提供的 BCryptPasswordEncoder 加密算法进行加密 import org.springframework.security.crypto.bcrypt.BCryptPasswordEncoder;/** * <p> * BCryptPasswordEncoder加......

秋至丶枫以落
10分钟前
0
0
在 Linux 上使用 tarball

Tarball 提供了一种在 Linux 系统上备份和管理一组文件的通用方法。请按照以下提示了解如何创建它们,以及从中提取和删除单个文件。 “tarball” (LCTT 译注:国内也常称为“tar 包”)一词...

Linux就该这么学
25分钟前
2
0
2018年AI和ML(NLP、计算机视觉、强化学习)技术总结和2019年趋势(上)

摘要: 回顾2018,展望2019,计算机科学技术继续前进! 1、简介: 过去几年一直是人工智能爱好者和机器学习专业人士最幸福的时光。因为这些技术已经发展成为主流,并且正在影响着数百万人的生...

阿里云官方博客
29分钟前
4
0
UnsatisfiedLinkError sawindbg.dll

方法:搜索sawindbg.dll,然后将文件报错的目录下

洛水
31分钟前
2
0
说说不知道的Golang中参数传递

本文由云+社区发表 导言 几乎每一个C++开发人员,都被面试过有关于函数参数是值传递还是引用传递的问题,其实不止于C++,任何一个语言中,我们都需要关心函数在参数传递时的行为。在golang中...

腾讯云加社区
31分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部