加载中
spark作业执行失败分析

spark作业执行失败,重新执行的时候,查看sparkui,发现存在大量失败的task,执行结束后,通过yarn-ui看到报错日志如下: User class threw exception: org.apache.spark.SparkException: J...

2017/11/16 09:30
24
Linux下如何查看哪些进程占用的CPU内存资源最多

linux下获取占用CPU资源最多的10个进程,可以使用如下命令组合: ps aux|head -1;ps aux|grep -v PID|sort -rn -k +3|head linux下获取占用内存资源最多的10个进程,可以使用如下命令组合: ...

2017/11/14 07:11
8
IDEA阿里Java规范插件的安装

本文参考自阿飞博客:http://www.cnblogs.com/aflyun/p/7668306.html   官方使用教程:https://zhuanlan.zhihu.com/p/30191998?utm_source=qq&utm_medium=social   以下仅介绍IDE的插件的...

2017/11/07 08:51
32
正确解读free -m

转自:http://www.cnblogs.com/zhaoyl/p/4325811.html 如下显示free是显示的当前内存的使用,-m的意思是M字节来显示内容.我们来一起看看. $ free -m total used free shared buffers cached M...

2017/11/03 08:57
10
spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面

1.先开启服务   yarn,hdfs,spark    1.先开启服务   yarn,hdfs,spark    2.运行程序    3.在yarn上无法观察history      同时,http://linux-hadoop3.ibeifeng.com:18080...

2017/09/27 09:45
57
Hbase源码分析:Hbase UI中Requests Per Second的具体含义

让运维加监控,被问到Requests Per Second(见下图)的具体含义是什么?我一时竟回答不上来,虽然大概知道它是指每秒Region Server的请求数,但是具体是怎么算的呢,不清楚。于是决定通过研究...

2017/09/26 11:32
16
hbase的cache与batch的理解

cache: 在默认情况下,如果你需要从hbase中查询数据,在获取结果ResultScanner时,hbase会在你每次调用ResultScanner.next()操作时对返回的每个Row执行一次RPC操作。即使你使用ResultSca...

2017/09/22 09:35
9
Linux shell中单引号,双引号及不加引号的简单区别

简要总结: 单引号:   可以说是所见即所得:即将单引号内的内容原样输出,或者描述为单引号里面看见的是什么就会输出什么。 双引号:   把双引号内的内容输出出来;如果内容中有命令,变...

2017/09/18 11:32
29
linux shell 中判断字符串为空的正确方法

转自:http://www.cnblogs.com/cute/archive/2011/08/26/2154137.html help命令可以查看帮助 help test 正确做法: #!/bin/sh STRING= if [ -z "$STRING" ]; then echo "STRING is empty" f...

2017/09/18 11:27
52
ssh 远程执行命令简介

转自:http://blog.csdn.net/shangzhiliang_2008/article/details/8602756 在写这篇博客之前,我google了一堆相关文章,大都是说修改/etc/sudoers,然后NOPASSWD:指定的cmd,但是真心不管用,...

2017/09/18 09:22
17
Kafka Shell基本命令(包括topic的增删改查)

创建kafka topic 查看所有topic列表 查看指定topic信息 控制台向topic生产数据 控制台消费topic的数据 查看topic某分区偏移量最大(小)值 增加topic分区数 删除topic,慎用,只会删除zooke...

2017/09/04 19:22
86
hbase-shell批量命令执行脚本

#!/bin/bash source /etc/profile exec $HBASE_HOME/bin/hbase shell <<EOF truncate 'tracker_total_apk_fact_zyt' major_compact('t_abc') disable 't_abc' drop 't_abc' create 't...

2017/08/02 11:25
56
HttpClient使用详解

Http协议的重要性相信不用我多说了,HttpClient相比传统JDK自带的URLConnection,增加了易用性和灵活性(具体区别,日后我们再讨论),它不仅是客户端发送Http请求变得容易,而且也方便了开发...

2017/08/01 15:40
17
Log4j的扩展-支持设置最大日志数量的DailyRollingFileAppender

Log4j现在已经被大家熟知了,所有细节都可以在网上查到,Log4j支持Appender,其中DailyRollingFileAppender是被经常用到的Appender之一。在讨论今天的主题之前,我们先看下另外一个Appender。...

2017/07/24 19:55
12
dubbo服务调用超时问题解决方案

dubbo在调用服务不成功时,默认是会重试两次的。这样在服务端的处理时间超过了设定的超时时间时,就会有重复请求,比如在发邮件时,可能就会发出多份重复邮件,执行注册请求时,就会插入多条...

2017/07/24 18:32
39
避免regionServer宕机

因为regionserver 的管理信息主要记录在zookeeper,regionserver的宕机判断依据是session expired。ok 那么regionserver 和Zookeeper的session expired原因有哪些尼? 1. 网络不好。 2. Jav...

2017/06/27 09:10
11
为什么在Spring的配置里,最好不要配置xsd文件的版本号

为什么dubbo启动没有问题? 这篇blog源于一个疑问: 我们公司使了阿里的dubbo,但是阿里的开源网站http://code.alibabatech.com,挂掉有好几个月了,为什么我们的应用启动没有问题? 我们的应...

2017/06/26 17:34
23
关于spring 获取不到网站上的xsd的处理记录

前两天做一个项目还好好的,今天突然报出这个错误   cvc-complex-type.2.4.c: The matching wildcard is strict, but no declaration can be found for element 'mvc:annotation-driven' ...

2017/06/26 17:33
4
GIT安装步骤

一、 基础内容 1、Git是一个版本控制软件,与svn类似,特点是分布式管理,不需要中间总的服务器,可以增加很多分支。 2、windows下的git叫msysgit,下载地址https://git-for-windows.github....

2017/06/20 17:18
28
hbase shell命令扩展

也许你还不清楚我在说什么,看一下下面的截图你就明白了: 好吧,如果您感兴趣,可以继续看下去了。 Hbase是以字节数组的形式存储数据的,当你直接用API或通过hbase 自带的shell端去查询数据...

2017/06/10 10:38
50

没有更多内容

加载失败,请刷新页面

返回顶部
顶部