加载中
解读MapReduce程序实例

Mapreduce 是一个分布式运算程序的编程框架,核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序,并发运行在一个 hadoop 集群上。MapReduce采用“分而治之”...

2018/06/27 17:47
2.4K
Hadoop集群中DataNode启动不了问题处理

在启动Hadoop集群时,往往会出现这样或那样的问题,比如节点中DataNode进程启动不了,很是让人头疼,下面说下具体的解决办法(复杂版),简单版见最后: (1)停止关于Hadoop的所有进程 (2...

2018/06/26 09:38
5.3K
Flume日志收集之Logger和HDFS数据传输方式

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如...

基于Hadoop集群的Hive安装配置(Derby数据库)

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据,提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行(具体的Hive架构大家自行搜索)。接下来主要讲下Hadoop集群下...

集群四部曲(四):完美的Kafka集群搭建

之前写过一篇关于Kafka消息的发布-订阅,只不过是基于一台服务器,不够全面,下面我要说下Kafka集群环境的搭建和消息的发布-订阅,希望大家喜欢。下面的集群搭建是基于单机部署的环境,所以大...

2018/03/20 17:09
1.6K
集群四部曲(三):完美的Spark集群搭建

前面已经成功的搭建了Zookeeper和Hadoop集群,接下来让我们更进一步,实现Spark集群的搭建吧。相比较而言,Spark集群的搭建要简单的许多了,关键是Hadoop已经搭建成功了。此次是基于上次的H...

2018/03/16 18:56
5.5K
集群四部曲(一):完美的Zookeeper集群搭建

今天搭建Zookeeper集群时,遇到了一些问题,好头疼的说,不过,也通过自己动手实践理解了许多,总的来说,实践出真知,当真不错。下面说下集群的搭建吧,希望能够帮助大家。 一、环境:虚拟机...

2018/03/15 19:00
1.3K

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部