加载中
架构师养成记--22.客户端与服务器端保持连接的解决方案,netty的ReadTimeoutHandler

概述 保持客户端与服务器端连接的方案常用的有3种 1.长连接,也就是客户端与服务器端一直保持连接,适用于客户端比较少的情况。 2.定时段连接,比如在某一天的凌晨建立连接,适用于对实时性要...

2017/06/06 14:43
106
Hbase中checkAndPut操作

Hbase中Insert和Update操作没有明显的差别。 如果误操作,是否可以恢复数据? 方法:通过timeStamp找回数据。 但是,如果我们可以在源头实现,是否更好呢? 问题: 客户端1: row1: family...

2017/06/06 09:05
36
HBase原子性保证

HBase提供基于单行数据操作的原子性保证 即:对同一行的变更操作(包括针对一列/多列/多column family的操作),要么完全成功,要么完全失败,不会有其他状态 示例: A客户端针对rowkey=10的...

2017/06/06 08:57
10
Hadoop 参数 mapred.map.child.java.opts

最近发现Hadoop Job集群的load非常高,最后发现是mapred.child.Java.opts设置过大导致的,我们当初设置为-Xmx5120导致TaskTracker上内存资源耗尽,进而开始不断swap磁盘上数据,load升高 在执...

2017/06/03 12:20
26
Hadoop jobhistory历史服务器

Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下,...

2017/06/03 12:02
5
hadoop yarn jobhistoryserver 配置

hadoop1.x之前的版本中可以开启50030端口,查看历史作业的运行日志,包括mr日志和自定义日志,但是hadoop2.x 是用MRv2(yarn)作为作业运行服务,代替50030端口的是一个jobhistory服务.jobhistory...

2017/06/03 12:02
38
netty3入门案例

Netty是一个提供异步事件驱动的网络应用框架,用以快速开发高性能、高可靠性的网络服务器和客户端程序。也就是说它是一个NIO框架,使用它可以简单快速地开发网络应用程序。Netty大大简化了网...

2017/06/02 18:02
19
【初学与研发之NETTY】netty3之传送字符串以及超长字符串的问题

使用netty主要用于建立客户端、服务端,在两者发送字符串(字节)、文件或者对象等,来满足在应用中的需求,这里先说下字符串的传送。个人认为,netty的传送什么都不重要,重要的是采用什么样...

2017/06/02 18:01
7
Linux下批量Kill多个进程

ps -ef|grep LOCAL=NO|grep -v grep|cut -c 9-15|xargs kill -9   管道符“|”用来隔开两个命令,管道符左边命令的输出会作为管道符右边命令的输入。下面说说用管道符联接起来的 几个命令:...

2017/06/01 15:15
12
awk print 学习

Awk是一种处理结构数据并输出格式化结果的编程语言, Awk 是其作者 "Aho,Weinberger,Kernighan" 的简称。 Awk通常被用来进行格式扫描和处理。通过扫描一个或多个文件中的行,查看是否匹配指定...

2017/05/31 11:03
16
Spark Streaming事务处理彻底掌握

本篇文章主要从二个方面展开: 一、Exactly Once 二、输出不重复 事务: 银行转帐为例,A用户转账给B用户,B用户可能收到多笔钱,如何保证事务的一致性,也就是说事务输出,能够输出且只会输...

2017/05/31 08:59
21
Java NIO理解与使用

Netty的使用或许我们看着官网user guide还是很容易入门的。因为Java nio使用非常的繁琐,netty对Java nio进行了大量的封装。对于Netty的理解,我们首先需要了解NIO的原理和使用。所以,我也特...

2017/05/30 11:03
20
[How to]HBase集群备份方法--Replication机制

1.简介   HBase备份的方法在[How to]HBase集群备份方法文章中已经有些介绍,但是这些方法都不是HBase本身的特性在支持,都是通过MR计算框架结合HBase客户端的方式,或者直接拷贝HBase的底层...

2017/05/30 10:24
95
hbase客户端源码分析调用

—client 的调用流程 delete 数据的流程.(table.delete(deleteColumn);) (源码基于Hbase-1.1.5版本) HTable table = new HTable(conf, Bytes.toBytes(tableName)); 1 1 HTable 对象创建时...

2017/05/28 10:23
25
HBase Replication源码解析之HLog读取

在HRegionServer中两个量和replication相关,如下所示: [java] view plain copy //Replication services. if no replication, this handler will be null protected ReplicationSourceServi...

2017/05/28 09:07
11
TCP和UDP的区别(转)

TCP协议与UDP协议的区别 首先咱们弄清楚,TCP协议和UCP协议与TCP/IP协议的联系,很多人犯糊涂了,一直都是说TCP/IP协议与UDP协议的区别,我觉得这是没有从本质上弄清楚网络通信! TCP/IP协议...

2017/05/27 18:28
19
推测是执行官文

spark.speculation false If set to "true", performs speculative execution of tasks. This means if one or more tasks are running slowly in a stage, they will be re-launched....

2017/05/27 18:15
3
Spark性能调优

通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整,本文主要分享的也是这两方面内容。 性能监控工具 【Spark监控工具】 Spark提供了一些基本的Web监控页面,对于日常监控...

2017/05/27 18:14
5
hive映射hbase设置timestamp

Hi @Dijin Thomas, yes HIVE-2828 works in HDP-2.3.2 (and most likely 2.3.0) however, only the latest timestamp and value are accessible in Hive. Below I created a HBase table whi...

2017/05/27 09:42
42
JMXtrans + InfluxDB + Grafana实现Kafka性能指标监控

架构 一般系统监控通常分为3部分: 数据采集 分析与转换 展现(可视化) 数据采集 对于前端应用,一般需要埋点,对用户的行为进行记录。 如果不埋点,则需要通过Pagespeed、PhantomJS这样的工具...

2017/05/25 14:19
101

没有更多内容

加载失败,请刷新页面

返回顶部
顶部