加载中
Spark Structured Steaming 聚合、watermark 以及 window操作,结合输出模式的研究总结

![TOC] 一、 背景 目前实时数仓需要对多张表进行关联聚合等复杂操作, 为了深度理解 Spark Structured Streaming 中聚合、输出模式(complete、append、update)、窗口操作(window)以及水印...

Spark性能优化指南二——高级篇

1.如何判断发生数据倾斜? 2.为什么会发生数据倾斜? 3.如何定位导致数据倾斜的代码? 4.Spark Web UI哪些参数可以反映数据倾斜? 5.本文对于数据倾斜提出哪些解决方案? 前言 继基础篇讲解了每...

Spark性能优化指南一——基础篇

1.Spark调优有哪些原则? 2.Spark作业原理是什么? 3.怎样进行参数调优? 前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离...

文本特征提取算法实现

使用java卡方校验(chi-square)和信息增益算法提取文本特征算法实现

Hive外部分区表加载flume打到hdfs上文件,读不到.tmp文件

flume打到hdfs上时,按照文件大小生成文件,在达到指定大小之前数据都是以.tmp文件形式保存在hdfs上,hive外部表也会加载这些文件,但是当文件完成后.tmp会消失,这时候hive会报找不到文件的...

Flume自定义Hbase Sink的EventSerializer序列化类

针对json格式的日志自定义flume hbasesink的序列化类

redis学习笔记---java操作redis,使用expire模拟指定时间段内限制ip访问的次数;

本系列redis博客纯属个人学习总结记录之用,初学者,如若见不当之处,望指教。本篇使用java操作redis,使用expire实现了一个简单模拟限制ip访问次数,下面附带了一个管道和普通方式插入1万条...

JQuery Slider 实现时间刻度滑动条,用以编辑项目/起始时间(手动输入可自动更新到滑动条)

使用jquery slider 实现时间刻度可以使用滑动条调整,用以设置项目起始时间,同时更新页面起始时间表单; 可以使用弹出层编辑时间,提交后自动更新到slider刻度条上

thrift使用:java作为client端调用python服务端

使用python thrift server,java客户端调用,并返回结果

flume1.6.0 和kafka整合(kafkasink只有在1.6.0以上的flume版本才有)

flume avrosource,mem channel,kafka sink的配置,注意:kafkasink只有在1.6.0以上的flume版本才有,之前的版本需要自定义sink。...

loh4j整合flume(log4jsource)

让log4j产生的日志文件大道flume中,这里log4j需要使用一个flume的appender。

redis学习笔记---redis集群

本系列redis博客纯属个人学习总结记录之用,初学者,如若见不当之处,望指教。本篇是redis集群的搭建,包括新增节点、删除节点等

redis学习笔记---redis的哨兵Sentinel

本系列redis博客纯属个人学习总结记录之用,初学者,如若见不当之处,望指教。本篇是redis的sentinel,sentinel可以用来监控redis集群的状态,也可以实现redis的故障转移。...

Kafka的通讯协议

本文转载自csdn,感谢博主,还没经得博主同意就私自拿来了,不知会不会出什么差子!为了便于理解,在博主文章基础上加了一张图,本篇主要讲kafka通讯协议中的request、respose的结构,messa...

Kafka的Log存储解析

本文转载自csdn,感谢博主,还没经得博主同意就私自拿来了,不知会不会出什么差子!主要讲的是kafka Log日志的存储机制,kafka partition、索引文件以及分段索引文件的结构等...

redis学习笔记---redis主从复制

本系列redis博客纯属个人学习总结记录之用,初学者,如若见不当之处,望指教。本篇是redis的主从复制

2015/12/14 14:49
177
redis学习笔记---redis的持久化(RDB和AOF方式)

本系列redis博客纯属个人学习总结记录之用,初学者,如若见不当之处,望指教。本篇是redis的两种持久化方式:rdb和aof方式

redis学习笔记---redis特性(expire、事务、数据排序、config命令)

本系列redis博客纯属个人学习总结记录之用,初学者,如若见不当之处,望指教。本篇主要是expire设置过期时间、redis的事务、redis使用sort对数据排序以及config命令的使用...

Redis学习笔记---数据类型二(set、sortedset)

本系列redis博客纯属个人学习总结记录之用,初学者,如若见不当之处,望指教。本篇是redis的数据类型的介绍与使用

没有更多内容

加载失败,请刷新页面

返回顶部
顶部