加载中
60,000毫秒内对Linux的性能诊断

当你为了解决一个性能问题登录到一台 Linux 服务器:在第一分钟你应该检查些什么? 在 Netflix,我们有一个巨大的 EC2 Linux 云,以及大量的性能分析工具来监控和诊断其性能。其中包括用于云...

2018/01/26 14:32
2
centos 6.x 版本修改ulimit

[root@test ~]# ll /etc/security/limits.d/ 总用量 8 -rw-r--r--. 1 root root 226 9月 10 18:53 90-nproc.conf -rw-r--r--. 1 root root 230 7月 7 2017 cloudera-scm.conf [root@test ~]...

09/10 19:12
19
MR作业提交时指定第三方依赖jar

前言 在提交MR作业时,如何将第三方依赖的jar追加运行环境 解决方法 首先构建一个项目基本架构,包括bin、lib等文件夹,,如下: [lqz@test app]$ tree . . ├── bin │ └── startup.sh...

03/14 15:52
34
git常用命令

克隆源相关命令 查看远程仓库地址 $ git remote -v origin https://github.com/apache/hive.git (fetch) origin https://github.com/apache/hive.git (push) 查看所有分支 $ git branch --a...

2018/11/24 17:25
15
hadoop伪分布式环境搭建

下载安装包 Apache Hadoop 官网下载hadoop安装包 hadoop-3.1.1,并解压。 [root@d1 local]# pwd /usr/local [root@d1 local]# tar -zxvf hadoop-3.1.1 [root@d1 local]# chown root:root -R ...

2018/10/09 08:21
13
hive常见问题汇总

1、java.sql.SQLException: Column name pattern can not be NULL or empty. 在启动hive时,可能会遇到以下异常: java.sql.SQLException: Column name pattern can not be NULL or empty. 错...

2018/09/12 10:59
26
oozie使用常见问题

1、oozie web consle is disabled. 问题解决: 下载ExtJS2.2 下载地址:http://archive.cloudera.com/gplextras/misc/ext-2.2.zip 上传到服务器并解压 [root@vm ~]# cd /opt/cloudera/parcel...

2018/08/30 20:20
25
配置本地镜像yum源

Step 1、以root用户操作 su - root Step 2、创建挂载目录 mkdir -p /mnt/yum Step 3、挂载 mount -o loop /mnt/rhel-server-6.9-update-7-x86_64-dvd.iso /mnt/yum/ Step 4、让yum源配置生效...

2018/08/03 07:41
41
jvm之判断ygc耗时和频率

首先明确所有分析的java应用的进程编号,然后在根据进程编号获取gc信息和运行时长,最后计算ygc的平均耗时和 Step1、找出所查java应用的进程编号 jps -mlv | grep 应用名称 # 或者 ps -ef |...

2018/07/19 07:24
2K
gcviewer的使用编译遇到问题

1、没有安装git软件 在编译打包GCViewer的过程中,不能执行git命令,错误信息如下: [ERROR] Failed to execute goal org.codehaus.mojo:buildnumber-maven-plugin:1.4:create (create-build...

2018/07/16 08:50
240
Unable to load database on disk

由于磁盘空间满了以后,导致zookeeper异常退出,清理磁盘空间后,zk启动报错,信息如下: 2018-06-25 17:18:46,904 INFO org.apache.zookeeper.server.quorum.QuorumPeerConfig: Reading co...

2018/06/25 19:17
322
expect

官网:https://core.tcl.tk/expect/index Introduction Expect is a tool for automating interactive applications such as telnet, ftp, passwd, fsck, rlogin, tip, etc. Expect really m...

hadoop集群的datanode负载高问题的排查过程记录

通过cloudera manager界面发现线上hadoop环境的某一个datanode节点load average 过高(>160)和cpu利用率过高(>90),top发现绝大部分为lqz(此处已脱敏)的进程在占据cpu和负载,如下截图:...

2018/06/20 09:07
85
DataNode Pause Duration 的含义

线上Hadoop环境节点报DataNode Pause Duration,页面错误信息如下: Pause Duration Average time spent paused was 44.4 second(s) (74.00%) per minute over the previous 5 minute(s). C...

2018/06/19 21:39
56
installing selected parcels阶段卡在activating状态

问题描述 针对退役的datanode节点,进行重新服役,在安装软件包阶段(installing selected parcels),卡在activating阶段不动了。 解决方法 查看正在服役的datanode节点安装包 $ pwd /opt/c...

2018/06/19 19:28
87
Hive Metastore Server 异常退出

Hive Metastore Server 异常退出,具体日志如下: Tue Apr 24 15:45:52 CST 2018 JAVA_HOME=/usr/java/latest using /usr/java/latest as JAVA_HOME using 5 as CDH_VERSION using /opt/...

2018/05/07 15:56
319
zookeeper报错“no space left on device”

问题描述 线上环境使用的是cdh搭建的集群,今天zookeeper报错“no space left on device”,经查为zookeeper的datadir的默认目录(/var/lib/zookeeper)空间所剩无几导致,重新调整了数据的存...

2018/05/07 15:19
465
sqlldr加载数据字段后面多个空格

使用sqlldr将数据导入oracle的表的时候,导入的表中的字段值有个空格。测试表的结构如下: create table test.t1 ( id INT, name VARCHAR2(128), ...

2018/04/27 10:05
23
jupyter启动报错

问题描述 使用anaconda安装python环境后,启动jupyter报没安装nodejs 5+,具体错误日志如下: [W 14:28:51.370 NotebookApp] Error loading server extension jupyterlab Traceback (mo...

2018/04/23 14:32
323
How to read MANIFEST.MF file from JAR using Bash

$ unzip -q -c myarchive.jar META-INF/MANIFEST.MF -q will suppress verbose output from the unzip program -c will extract to stdout Example: $ unzip -q -c commons-lang-2.4.jar MET...

2018/03/03 15:27
7

没有更多内容

加载失败,请刷新页面

返回顶部
顶部