加载中
解读MapReduce程序实例

Mapreduce 是一个分布式运算程序的编程框架,核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序,并发运行在一个 hadoop 集群上。MapReduce采用“分而治之”...

2018/06/27 17:47
2.2K
Hadoop集群中DataNode启动不了问题处理

在启动Hadoop集群时,往往会出现这样或那样的问题,比如节点中DataNode进程启动不了,很是让人头疼,下面说下具体的解决办法(复杂版),简单版见最后: (1)停止关于Hadoop的所有进程 (2...

2018/06/26 09:38
4.8K
Flume日志收集之Logger和HDFS数据传输方式

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如...

基于Hadoop集群的Hive安装配置(Derby数据库)

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据,提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行(具体的Hive架构大家自行搜索)。接下来主要讲下Hadoop集群下...

Zookeeper3.4.11+Hadoop2.7.6+Hbase2.0.0搭建分布式集群

有段时间没更新博客了,趁着最近有点时间,来完成之前关于集群部署方面的知识。今天主要讲一讲Zookeeper+Hadoop+Hbase分布式集群的搭建,在我前几篇的集群搭建的博客中已经分别讲过了Zookeep...

集群四部曲(四):完美的Kafka集群搭建

之前写过一篇关于Kafka消息的发布-订阅,只不过是基于一台服务器,不够全面,下面我要说下Kafka集群环境的搭建和消息的发布-订阅,希望大家喜欢。下面的集群搭建是基于单机部署的环境,所以大...

2018/03/20 17:09
1.6K
集群四部曲(三):完美的Spark集群搭建

前面已经成功的搭建了Zookeeper和Hadoop集群,接下来让我们更进一步,实现Spark集群的搭建吧。相比较而言,Spark集群的搭建要简单的许多了,关键是Hadoop已经搭建成功了。此次是基于上次的H...

2018/03/16 18:56
5.4K
集群四部曲(二):完美的Hadoop集群搭建

继上次Zookeeper集群的搭建成功后,现在来说下Hadoop的集群搭建。好了,闲话不多说,让我们开始今天的冒险之旅吧。 一、环境:虚拟机CentOs7系统,完整的环境,请确认已安装JDK,及Hadoop安装...

2018/03/16 17:15
1.2K
集群四部曲(一):完美的Zookeeper集群搭建

今天搭建Zookeeper集群时,遇到了一些问题,好头疼的说,不过,也通过自己动手实践理解了许多,总的来说,实践出真知,当真不错。下面说下集群的搭建吧,希望能够帮助大家。 一、环境:虚拟机...

2018/03/15 19:00
1.3K
简单的Spark+Mysql整合开发

今天简单说下Spark和Mysql的整合开发,首先要知道:在Spark中提供了一个JdbcRDD类,该RDD就是读取JDBC中的数据并转换成RDD,之后我们就可以对该RDD进行各种的操作,该类的构造函数如下: Jd...

CentOs7 Kafka单机消息的发布-订阅

这段时间一直在学习大数据相关的知识,从Spark,Spark Streaming,Scala到Kafka等等,涉及到的知识面很多,总体看下来,觉得大数据还是很好玩的,在现在及以后的方方面面都很适用。下面说下K...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部