Mapreduce 是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 hadoop 集群上。MapReduce采用“分而治之”...

在启动Hadoop集群时，往往会出现这样或那样的问题，比如节点中DataNode进程启动不了，很是让人头疼，下面说下具体的解决办法（复杂版），简单版见最后： （1）停止关于Hadoop的所有进程 （2...

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如...

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据，提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行（具体的Hive架构大家自行搜索）。接下来主要讲下Hadoop集群下...

有段时间没更新博客了，趁着最近有点时间，来完成之前关于集群部署方面的知识。今天主要讲一讲Zookeeper+Hadoop+Hbase分布式集群的搭建，在我前几篇的集群搭建的博客中已经分别讲过了Zookeep...

之前写过一篇关于Kafka消息的发布-订阅，只不过是基于一台服务器，不够全面，下面我要说下Kafka集群环境的搭建和消息的发布-订阅，希望大家喜欢。下面的集群搭建是基于单机部署的环境，所以大...

前面已经成功的搭建了Zookeeper和Hadoop集群，接下来让我们更进一步，实现Spark集群的搭建吧。相比较而言，Spark集群的搭建要简单的许多了，关键是Hadoop已经搭建成功了。此次是基于上次的H...

继上次Zookeeper集群的搭建成功后，现在来说下Hadoop的集群搭建。好了，闲话不多说，让我们开始今天的冒险之旅吧。 一、环境：虚拟机CentOs7系统，完整的环境，请确认已安装JDK，及Hadoop安装...

今天搭建Zookeeper集群时，遇到了一些问题，好头疼的说，不过，也通过自己动手实践理解了许多，总的来说，实践出真知，当真不错。下面说下集群的搭建吧，希望能够帮助大家。 一、环境：虚拟机...

今天简单说下Spark和Mysql的整合开发，首先要知道：在Spark中提供了一个JdbcRDD类，该RDD就是读取JDBC中的数据并转换成RDD，之后我们就可以对该RDD进行各种的操作，该类的构造函数如下： Jd...

这段时间一直在学习大数据相关的知识，从Spark，Spark Streaming，Scala到Kafka等等，涉及到的知识面很多，总体看下来，觉得大数据还是很好玩的，在现在及以后的方方面面都很适用。下面说下K...