加载中
hadoop 2.2.0集群安装

相关阅读: hbase 0.98.1集群安装 本文将基于hadoop 2.2.0讲解其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接: http://blog.csdn.net/bluishglc/article/details...

hadoop为分布式遇到的问题总结

这几天在配置伪分布式hadoop,遇到了了些问题,一定要注意的: 1.cygwin的目录结构是三层映射,如果再d:/java盘,则为:/cygdrive/d/java 2.某些linux操作系统的旧版本可能会出现安装软件的问题...

2014/08/16 09:31
9
分布式计算开源框架Hadoop入门实践

Author :岑文初 Email: wenchu.cenwc@alibaba-inc.com msn: cenwenchu_79@hotmail.com blog: http://blog.csdn.net/cenwenchu79/ 引... 2 What is Hadoop. 2 Why is hadoop. 6 How to Use H...

hbase 0.98.1集群安装

本文将基于hbase 0.98.1讲解其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:http://blog.csdn.net/bluishglc/article/details/24593597,转载请注明出处! 1. 安装...

写在MapReduce问题的回复后

中午左右收到一个看我blog的朋友的邮件,最近他在研究mapreduce,然后想用hadoop来做一些工作,不过遇到了一些问题,我这边也贴一下他的几个问题,同时觉得自己把自己的一些看法分享一下,当...

Hadoop集群下进行集成测试的小策略

对于maven工程来说,默认的integration test是作为构建周期的一个phase进行的,这对一般的工程进行集成测试来说是很方便的,但是对于Hadoop(或HBase)项目来说是不太适合的,主要是因为一方...

2014/10/12 11:40
10
HBASE松散数据存储设计初识

引 最近关注Hadoop,因此也顺便关注了一下Hadoop相关的项目。HBASE就是基于Hadoop的一个开源项目,也是对Google的BigTable的一种实现。 BigTable是什么?Google的Paper对其作了充分的说明。字...

Hadoop源码解析之: TextInputFormat如何处理跨split的行

我们知道hadoop将数据给到map进行处理前会使用InputFormat对数据进行两方面的预处理: 对输入数据进行切分,生成一组split,一个split会分发给一个mapper进行处理。 针对每个split,再创建一...

Hadoop/HBase Remote Debug (远程调试) 设置

本地是windows开发环境,程序部署在远程的hadoop或hbase集群下,进行remote debug需要进行如下配置: 1. 事前准备 hadoop和hbase都是分布式集群,你不可能在同一时刻监听所有的节点,你需要引...

Beatles小记-分布式数据流分析框架(一)

Author:放翁(文初) Email:fangweng@taobao.com Mblog:weibo.com/fangweng Blog: http://blog.csdn.net/cenwenchu79/ 概述 重要:全文内容都是参照这个源码地址内容所写,因此两边对着看会...

分布式服务框架 Zookeeper -- 管理分布式环境中的数据

转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问...

2014/09/24 13:52
13
大数据时代的 9 大Key-Value存储数据库

在过去的十年中,计算世界已经改变。现在不仅在大公司,甚至一些小公司也积累了 TB 量级的数据。各种规模的组织开始有了处理大数据的需求,而目前关系型数据库在可缩放方面几乎已经达到极限。...

2014/09/24 13:52
74
HBase高性能复杂条件查询引擎

——索引的实质是另一种编排形式的数据冗余,高效的检索源自于面向查询特别设计的编排形式,如果再辅以分布式的计算框架,就可以支撑起高性能的大数据查询。本文原文出处: http://blog.csdn....

优化杂谈

优化杂谈 Author :放翁 Blog:http://blog.csdn.net/cenwenchu79/ 当应用遇到规模化问题的时候,就是考虑性能优化的时候了。今天同事和我聊起了NIO在客户端的使用与BIO有什么优势,也勾起了我...

分布式与集群的区别

简单说,分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。 例如: 如果一个任务由10个子任务组成,每个子任务单独执行需1小时,则在一...

基于MapReduce的配置型日志分析组件

基于MapReduce的配置型日志分析组件 Author:放翁(文初) Email:fangweng@taobao.com Blog: http://blog.csdn.net/cenwenchu79/ 目录 需求场景 组件功能设计关键点 设计点分析 分析模型抽象 ...

异步模式下的Web请求(技术介绍篇)

Author:放翁(文初) Date: 2010/4/14 Email:fangweng@taobao.com 缘起 早在两年前做开放平台的时候,由于平台的特质,就开始寻求对于Web请求异步的解决方案,当时Jetty和Tomcat都在最新的版...

耗内存应用优化实际案例

Author:放翁(文初) Email:fangweng@taobao.com mblog: http://t.sina.com.cn/fangweng 这里分享的是一个分布式分析系统的Master内存消耗状况的优化,有些比较特定的优化未必适用于其他系统...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部