加载中
HBase scan setBatch和setCaching的区别

HBase的查询实现只提供两种方式: 1、按指定RowKey获取唯一一条记录,get方法(org.apache.hadoop.hbase.client.Get) 2、按指定的条件获取一批记录,scan方法(org.apache.Hadoop.Hbase.cli...

2017/05/21 10:08
43
Hadoop YARN配置参数剖析(3)—MapReduce相关参数

MapReduce相关配置参数分为两部分,分别是JobHistory Server和应用程序参数,Job History可运行在一个独立节点上,而应用程序参数则可存放在mapred-site.xml中作为默认参数,也可以在提交应用...

2017/05/04 20:19
30
对象的持久化和序列化

对象持久化(Persistence) 对象持久化就是将对象存储在可持久保存的存储介质上,例如主流的关系数据库中。在实际应用中,需要将业务数据以对象的方式保存在数据库中,就需要应用到相应的对象持...

2016/07/17 16:30
42
Yarn简单介绍及内存配置

Yarn简单介绍及内存配置

2016/05/20 18:18
37
InputFormat到key-value生成流程,reduce写出数据流程

InputFormat到key-value生成流程

2015/09/01 21:06
46
Solr查询语法总结

Solr查询语法总结

2015/08/23 09:42
272
tomcat堆大小设置

tomcat堆大小设置

2015/08/05 12:38
44
hadoop学习笔记

hadoop

2015/01/05 19:40
200
oracle常用

oracle常用

2014/12/16 10:24
353
Java开发必会的Linux命令

原文地址:http://www.hollischuang.com/archives/800 作为一个Java开发人员,有些常用的Linux命令必须掌握。即时平时开发过程中不使用Linux(Unix)或者mac系统,也需要熟练掌握Linux命令。...

03/16 15:33
19
Spark加载外部配置文件

--files path启动加载配置文件 在spark-streaming程序中需要配置文件中的数据来完成某项统计时,需要把配置文件打到工程里,maven的配置如下: [html] view plain copy <build> <plugins> <...

03/12 15:04
356
spark加载properties配置文件方法

首先我先介绍一下错误的写法,这个加载配置文件方法是错误的: [java] view plain copy val props = new Properties(); val loader = getClass.getClassLoader; props.load(new FileInputStr...

03/12 15:02
114
redis3.x连接报错

(error) DENIED Redis is running in protected mode because protected mode is enabled 解决: protected-mode no 参考:http://blog.csdn.net/alaska_bibi/article/details/52594639...

03/08 10:37
5
HBase shell 中的十六进制数值表示

在使用Hbase shell 进行get 或scan操作时,时不时会看到一些数值被转成了16进制, 就像下面那样 value=W\x5C5\x80 那么这个值具体等于多少? 查阅资料后发现算法如下 W -> W的ASCII码16进制 为 ...

02/01 09:11
116
测试Hbase 表映射成 Hive表查询效率

一、准备工作: 1、编写程序将1000万条数据写到Hbase表中; 2、将对应的Hbase表映射成Hive表。 在Hive 的shell中执行类似如下的命令 hive> CREATE EXTERNAL TABLE IF NOT EXISTS t_hbase_p...

01/30 11:40
18
sed -i命令详解

[root@www ~]# sed [-nefr] [动作] 选项与参数: -n :使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后,则只有经过sed 特...

01/04 08:58
18
HBase总结(4)--数据扫描与Scan对象

一、介绍 Put、Delete与Get对象都是Row的子类,从该继承关系中我们就可以了解到Get、Delete与Pu对象本身就只能进行单行的操作,HBase客户端还提供了一套能够进行全表扫描的API,方便用户能够...

2017/12/25 19:07
8
httpclient工具类

package com.taotao.common.utils; import java.io.IOException; import java.net.URI; import java.util.ArrayList; import java.util.List; import java.util.Map; import org.apache.ht...

2017/12/12 10:09
10
spark作业执行失败分析

spark作业执行失败,重新执行的时候,查看sparkui,发现存在大量失败的task,执行结束后,通过yarn-ui看到报错日志如下: User class threw exception: org.apache.spark.SparkException: J...

2017/11/16 09:30
18
Linux下如何查看哪些进程占用的CPU内存资源最多

linux下获取占用CPU资源最多的10个进程,可以使用如下命令组合: ps aux|head -1;ps aux|grep -v PID|sort -rn -k +3|head linux下获取占用内存资源最多的10个进程,可以使用如下命令组合: ...

2017/11/14 07:11
7

没有更多内容

加载失败,请刷新页面

返回顶部
顶部