加载中
java主要集合类的数据结构学习

在程序中,集合类每天都在使用,以致于某些代码充斥着List和Map,一直没有机会整理下它们背后的实现原理。这几天不太忙,正好可以看会代码,补充下概念。 和集合类的大致分类类似,下面我也分...

2016/07/21 00:34
52
Storm在zookeeper上的目录结构

Storm的所有的状态信息都保存在Zookeeper里面,nimbus通过在zookeeper上面写状态信息来分配任务: 使得nimbus可以监控整个storm集群的状态,从而可以重启一些挂掉的task。 ZooKeeper使得整个s...

2016/07/19 19:13
44
OSI安全体系结构

最近研究安全技术,终于发现这个由ISO指定的OSI原来是这么的全面! OSI ISO制定了开发系统互联参考模型(Open System Interconnection Reference Model,OSI模型)作为理解和实现网络安全的基...

Java基础 之 虚拟机结构与工作机制

本文旨在给所有希望了解JVM(Java Virtual Machine)的同学一个概念性的入门,主要介绍了JVM的组成部分以及它们内部工作的机制和原理。当然本文只是一个简单的入门,不会涉及过多繁杂的参 数...

2015/05/18 20:05
34
【大数据之sqoop安装】

Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据...

【大数据之Flume基本安装】

一、下载/解压缩 [root@hadoop0 opt]# wget http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz --1999-05-08 19:02:36-- http://mirror.bit.edu.cn/apache/flume...

使用Hive读取Hbase中的数据

第一步,启动hadoop,命令:./start-all.sh 第二步,启动hive,命令: ./hive --auxpath /home/dream-victor/hive-0.6.0/lib/hive_hbase-handler.jar,/home/dream-victor/hive-0.6.0/lib/hb...

ZooKeeper 笔记(2) 监听数据变化

ZK中的每个节点都可以存储一些轻量级的数据,这些数据的变化会同步到集群中的其它机器。在应用中程序员可以添加watcher来监听这些数据的变化,watcher只会触发一次,所以触发过后想要继续监听...

2015/09/02 08:26
37
【大数据Kafka之 high-level--Consumer 】

一、特点: 不用关心offset, 会自动的读zookeeper中该Consumer group的last offset 二、注意事项 1. 如果consumer比partition多,是浪费,因为kafka的设计是在一个partition上是不允许并发的...

【大数据kafka之low-level consumer】

一、什么时候用这个接口? 1)Read a message multiple times 2)Consume only a subset of the partitions in a topic in a process 3)Manage transactions to make sure a message is pro...

solr4.8 DataImportHandler 从关系型数据库导入数据

转载请出自出处: http://eksliang.iteye.com/blog/2097146 1. 概述 大多数的应用程序将数据存储在关系数据库(例如oracle、mysql、sql service等等)。对这样的数据进行搜索是很常见的应用。...

如何用python在mysql上创建1亿条数据

建表 首先在mysql的example库上创建表user use example; create TABLE `user` ( `id` int(11) NOT NULL, `last_name` varchar(45) DEFAULT NULL, `first_name` varchar(45) DEFAULT NULL, `...

2016/08/03 23:34
482
kafka数据保存时间问题与kafka的性能测试

查看kafka的topic情况,bin/kafka-topics.sh --describe --zookeeper hadoop234:2182 --topic test5 可以查看replicationfactor的leader,如果broker list中某个节点断掉,则会重选leader Pa...

2016/07/18 16:46
2.5K
为什么超长列表数据的翻页技术实现复杂(二)

上文为什么超长列表数据的翻页技术实现复杂提到了超长列表翻页技术设计上一些问题,今天讨论下部分解决思路。 前新浪同事 @pi1ot 最近在程序员杂志发表的一篇文章《门户级UGC系统的技术进化路...

2015/06/03 12:09
15
为什么超长列表数据的翻页技术实现复杂

今天讨论了一个传统的问题,问题本身比较简单,就是针对key-list类型的数据,如何优化方案做到性能与成本的tradeoff。Key-list在用户类型的产品中非常普遍,如一个用户的好友关系 {“uid”:...

2015/06/03 11:37
34
数据库分库分表(sharding)系列(四) 多数据源的事务处理

系统经sharding改造之后,原来单一的数据库会演变成多个数据库,如何确保多数据源同时操作的原子性和一致性是不得不考虑的一个问题。总体上看,目前对于一个分布式系统的事务处理有三种方式:...

数据库分库分表(sharding)系列(五) 一种支持自由规划无须数据迁移和修改路由代码的Sharding扩容方案

版权声明:本文由本人撰写并发表于2012年9月份的《程序员》杂志,原文题目《一种支持自由规划的Sharding扩容方案——主打无须数据迁移和修改路由代码》,此处作为本系列的第五篇文章进行转载...

2015/06/05 11:36
110
Zookeeper实现简单的分布式RPC框架

在分布式系统中,为了提供系统的可用性和稳定性一般都会将服务部署在多台服务器上,为了实现自动注册自动发现远程服务,通过ZK,和ProtocolBuffe 以及Nettyr实现一个简单的分布式RPC框架。 首...

2015/05/10 00:09
187
MySQL索引的学习和研究

这里所谈论只针对B-Tree类型索引,也是MySQL用的最多最普通的索引。创建索引的时候是按照字面量的顺序创建的,这个要特别注意。在B-Tree类型索引中,索引顺序是至关重要的。 高性能索引 索引...

2016/08/03 23:34
47
Solr Deep Paging(solr 深分页)

转载请出自出处:http://eksliang.iteye.com/blog/2148370 作者:eksliang(ickes) blg:http://eksliang.iteye.com/ 概述 长期以来,我们一直有一个深分页问题。如果直接跳到很靠后的页数,查...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部