加载中
Kafka 设计详解之网络通信

前言 Kafka 是 LinkedIn 开发的一个分布式的消息中间件。由于其高吞吐量、可水平扩展等特性,目前被广泛使用,已经是目前大数据生态系统中不可或缺的一环,有关其详细介绍可以查看官方的文档...

2017/12/15 10:54
20
面向对象设计中的“六原则一法则”

单一职责原则:一个类只做它该做的事情。(单一职责原则想表达的就是"高内聚",写代码最终极的原则只有六个字"高内聚、低耦合",就如同葵花宝典或辟邪剑谱的中心思想就八个字"欲练此功必先自...

2017/10/11 16:49
21
unicode,ansi,utf-8,unicode big endian编码的区别

随便说说字符集和编码 快下班时,爱问问题的小朋友Nico又问了一个问题: "sqlserver里面有char和nchar,那个n据说是指unicode的数据,这个是什么意思。" 并不是所有简单的问题都很容易回答,...

2017/07/14 15:08
13
resetful架构

这种"互联网软件"采用客户端/服务器模式,建立在分布式体系上,通过互联网通信,具有高延时(high latency)、高并发等特点。 网站开发,完全可以采用软件开发的模式。但是传统上,软件和网络...

2017/07/06 16:54
24
几种字符串加密解密的方法

第一种:〔 Python 与 Bash Shell 的结合 〕 这个命令会让你输入一个字符串,然后会再输出一串加密了的数字。 加密代码[照直输入]: python -c 'print reduce(lambda a,b: a*256+ord(b), raw_...

2017/05/08 16:16
431
如何正确地写出单例模式

单例模式算是设计模式中最容易理解,也是最容易手写代码的模式了吧。但是其中的坑却不少,所以也常作为面试题来考。本文主要对几种单例写法的整理,并分析其优缺点。很多都是一些老生常谈的问...

2017/03/29 17:15
18
kafka0.10 producer、consumer和socketServer源代码分析

kafka0.10 producer 异步发送的基本思路就是:send的时候,KafkaProducer把消息放到本地的消息队列RecordAccumulator,然后一个后台线程Sender不断循环,把消息发给Kafka集群。 要实现这个,...

kafka 0.10特性

一、特点 MQ生来就是解决生产者和消费者速度不匹配的问题而诞生的,那么MQ系统一个最最基本的要求就是写入速度必须要快,哪怕出队速度慢点也无所谓,因为业务高峰期持续时间是有限的,高峰结...

2017/03/13 14:44
255
Linux 技巧:让进程在后台可靠运行的几种方法

我们经常会碰到这样的问题,用 telnet/ssh 登录了远程的 Linux 服务器,运行了一些耗时较长的任务, 结果却由于网络的不稳定导致任务中途失败。如何让命令提交后不受本地关闭终端窗口/网络断...

linux执行可执行文件的方式

当一个文件对当前用户具有可执行权限且是一个可执行文件时(图一),我们通常是可以直接执行该文件的,但是我们通常不太关注文件的执行方式为什么有的时候是不太一样的。 ** 第一种,我们直接...

2017/03/08 10:58
58
Kafka技术内幕-日志压缩

3.3 日志管理类的后台线程 分布式存储系统除了要保证客户端写请求流程的正确性,节点可能会非正常宕机或者需要重启,在启动的时候必须要能够正常地加载/恢复已有的数据,日志管理类在创建的时...

Storm源码阅读总结 -- Client Nimbus Supervisor

Client 客户端提交作业 NimbusClient: RPC 客户端, 向RPC服务端即Nimbus Server发起RPC调用. App通过StormSubmitter提交计算拓扑作业submitTopology: 首先提交jar包, 会向Nimbus服务器发起b...

2017/02/22 10:43
59
图解RAID 0, RAID 1, RAID 5, RAID 10

RAID(Redundant Array of Independent Disk 独立冗余磁盘阵列)技术是加州大学伯克利分校1987年提出,最初是为了组合小的廉价磁盘来代替大的昂贵磁盘,同时希望磁盘失效时不会使对数据的访问受...

2017/02/14 11:12
68
自动化批量统一修改用户密码

一、自动化执行批量修改密码,需要配置一个主机列表,包含[ hostname ip username password ],读取列表文件,逐台进行修改,需要expect进行自动化登陆,运行的脚本程序为: #!/bin/bash ...

2017/01/05 10:59
97
NameNode内存详解

一、概述 从整个HDFS系统架构上看,NameNode是其中最重要、最复杂也是最容易出现问题的地方,而且一旦NameNode出现故障,整个Hadoop集群就将处于不可服务的状态,同时随着数据规模和集群规模...

2016/12/23 17:04
78
java switch用法

Java 7中,switch的参数可以是String类型了,这对我们来说是一个很方便的改进。到目前为止switch支持这样几种数据类型:byte short int char String 。switch对String的支持是使用equals()方...

2016/12/19 15:45
28
Comparable 和 Comparator 的区别

Java 中为我们提供了两种比较机制:Comparable 和 Comparator,他们之间有什么区别呢?今天来了解一下。 Comparable 自然排序 Comparable 在 java.lang 包下,是一个接口,内部只有一个方法 ...

2016/12/13 13:50
38
Storm的参数构造问题记录

Storm正常的参数构造应该放在prepare方法中,但是如果你放在了bolt的构造函数的中,则会出现问题,参数得不到正常的初始化,原因如下: Bolt是Storm中的基础运行单位,当接收到一条数据时可以...

2016/09/27 14:55
38
Storm笔记

用了一段时间Storm后的笔记。发现可以记的东西不多,证明Storm挺简单的,你只要遵循一些简单的接口与原则,就能写出大规模实时消息处理的程序。 不断更新中,请尽量访问博客原文。 为什么用S...

2016/09/27 14:16
175

没有更多内容

加载失败,请刷新页面

返回顶部
顶部