ivan-Zhao的个人空间 - OSCHINA - 中文开源技术交流社区

ivan-Zhao

生活离不开编程，编程更离不开生活

经验值

开源豆

粉丝

关注

关注私信

专长领域： WEB开发, 服务器端开发, DBA/数据库

开发平台： Java EE, Python, Scala, HTML/CSS, Linux/Unix

连击天

fork: star:

加载中

1.如何判断发生数据倾斜？ 2.为什么会发生数据倾斜? 3.如何定位导致数据倾斜的代码? 4.Spark Web UI哪些参数可以反映数据倾斜？ 5.本文对于数据倾斜提出哪些解决方案？前言继基础篇讲解了每...

spark executor hive task 内存数据结构 yarn shuffle collect java 其他 client stage tungsten

spark

2017/04/28 17:05

167

flume打到hdfs上时，按照文件大小生成文件，在达到指定大小之前数据都是以.tmp文件形式保存在hdfs上，hive外部表也会加载这些文件，但是当文件完成后.tmp会消失，这时候hive会报找不到文件的...

hive hdfs flume pathfilter site

Hive

2016/04/01 19:00

5.1K

自定义hdfssink序列化类，将日志打到hdfs上

flume自定义hdfs序列化类 hdfssink序列化类 flume日志打到hdfs上自定义序列化类

Flume

2016/04/01 18:41

1.6K

针对json格式的日志自定义flume hbasesink的序列化类

flume hbasesink 自定义Serializer序列化类

Flume

2016/04/01 18:26

7.4K

本系列redis博客纯属个人学习总结记录之用，初学者，如若见不当之处，望指教。本篇使用java操作redis，使用expire实现了一个简单模拟限制ip访问次数，下面附带了一个管道和普通方式插入1万条...

redis管道 redis expire redis模拟限制ip访问次数 java操作redis

Hadoop

2015/12/14 13:50

7.1K

顶

原

JQuery Slider 实现时间刻度滑动条，用以编辑项目/起始时间（手动输入可自动更新到滑动条）

使用jquery slider 实现时间刻度可以使用滑动条调整，用以设置项目起始时间，同时更新页面起始时间表单；可以使用弹出层编辑时间，提交后自动更新到slider刻度条上

slider json initslider layout input jqueryslider

Javascript

2015/09/10 14:26

2.2K

flume avrosource，mem channel，kafka sink的配置，注意：kafkasink只有在1.6.0以上的flume版本才有，之前的版本需要自定义sink。...

log-flume kafka server console type zookeeper apache log4j sink1 agent1 sinks sink

Kafka

2016/01/17 11:38

1.2K

让log4j产生的日志文件大道flume中，这里log4j需要使用一个flume的appender。

flume的log4jsource log4j和flume整合 flume配置

Hadoop

2016/01/17 11:21

451

本系列redis博客纯属个人学习总结记录之用，初学者，如若见不当之处，望指教。本篇是redis的sentinel，sentinel可以用来监控redis集群的状态，也可以实现redis的故障转移。...

redis故障转移监控redis状态 redis sentinel集群的使用主从同步结合sentinel的使用

Hadoop

2015/12/16 14:35

393

本文转载自csdn，感谢博主，还没经得博主同意就私自拿来了，不知会不会出什么差子！为了便于理解，在博主文章基础上加了一张图，本篇主要讲kafka通讯协议中的request、respose的结构，messa...

kafka 分布式消息系统 schema payload null short request message java response messageset int32

Kafka

2015/12/16 10:24

320

本文转载自csdn，感谢博主，还没经得博主同意就私自拿来了，不知会不会出什么差子！主要讲的是kafka Log日志的存储机制，kafka partition、索引文件以及分段索引文件的结构等...

kafka index offset message data segment partition 文件系统 slice topic page visits position

Kafka

2015/12/16 09:58

257

本系列redis博客纯属个人学习总结记录之用，初学者，如若见不当之处，望指教。本篇是redis的两种持久化方式：rdb和aof方式

redis rdb rewrite auto dump 操作系统 bgsave appendonly fork check save percentage100 dbfilename

Hadoop

2015/12/14 14:36

本系列redis博客纯属个人学习总结记录之用，初学者，如若见不当之处，望指教。本篇是redis的数据类型的介绍与使用

redis 数据存储 count zset sortedset sinterstore zremzseta spopset zcard zincrby set2 topn

Hadoop

2015/12/12 17:13

256

没有更多内容

加载失败，请刷新页面

ivan-Zhao

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

QQ群

公众号

视频号