上一篇博客博主分享了mapreduce的并行原理，本篇博客将继续分享yarn客户端提交job的流程和自定义partition编程。 一、yarn客户端提交job的流程 二、自定义partition编程 FlowBean（输出结果类...

#创建只查询用户 create user bwx IDENTIFIED by 'BwCHeryx123@9!'; grant select on chery_wcc.* to bwx; flush privileges ;......

上一篇博客介绍了mapreduce的移动流量分析的实战案例，本篇将继续分享mapreduce的并行度原理。 一、mapTask并行度的决定机制 一个job的map阶段并行度由客户端在提交Job是决定，而客户端对map...

前面分享了使用mapreduce做wordcount单词统计的实现与原理。本篇博主将继续分享一个移动流量分析的经典案例，来帮助在实际工作中理解和使用hadoop平台。 一、需求 以下是一个移动流量的日志，...

由于之前写视图都没有记录，这次客户公司要求我写三张视图，却发现自己忘了咋写的！于是有去百度了下，分分钟搞定了。但是，个人还是做个笔录吧！以后不用去看别人的写法咯。 #车辆会员查询视...

上一篇博客分享了wordcount的源码编写、原理实现，本节将对wordcount在hadoop内部运行过程进行解析。 运行流程图如下： 上图中说明：mr appmaster启动后，会根据任务分配规则进行任务的启动，...

上一篇博客分享了mapreduce的编程思想，本节博主将带小伙伴们了解wordcount程序的原理和代码实现/运行细节。通过本节可以对mapreduce程序有一个大概的认识，其实hadoop中的map、reduce程序只...

上一章介绍了hadoop的HDFS文件系统的原理及API使用。本章博主将继续对hadoop的mapreduce编程框架进行分享。 mapreduce原理篇 mapreduce是一个分布式运算程序的编程框架，是用户开发“基于had...

上一篇博客博主分享了hadoop内置rpc的使用案例，本节博主将为小伙伴们分享一个在实际生产中使用的日志搜集案例。前面的文章我们有讲到过用户点击流日志分析的流程，本节就是要完成这个分析流...

博主这几天在配合公司测试做商城商品秒杀场景的压测，由于秒杀需要登录，所以需要为测试创建多个用户密码。此项任务可能在今后还会遇到，先做个笔录。同时，让小伙伴们需要的时候也可以有个参...

博主上一篇博客分享了hadoop客户端java API的使用，本章节带领小伙伴们一起来体验下hadoop的内置rpc框架。首先，由于hadoop的内置rpc框架的设计目的是为了内部的组件提供rpc访问的功能，并不...

博主上一篇博客分享了namenode和datanode的工作原理，本章节将继前面的HDFS的java客户端简单API后深度讲述HDFS流处理API。 场景：博主前面的文章介绍过HDFS上存的大文件会成不同的块存储在不...

前面两篇博客介绍了HDFS客户端读写数据流程，本篇博主将带给小伙伴们namenode和datanode的工作机制的分享。 一、目标 理解namenode的工作机制尤其是元数据管理机制，以增强对HDFS工作原理的理...

岁月如梭，一年一度的光棍节又来了。博主和往年一样，干着节假日加班的活。不知道此时此刻是否有一大波xxx丝和博主一样呢？当前闲暇时刻，博主忍不住给各位xxx丝同僚们来一波进补，为了博主的...

上一篇博客分享过了HDFS写数据的流程，本节博主将为大家带来HDFS读数据流程的分享。 一、从HDFS读文件的流程如图 最后寄语，以上是博主本次文章的全部内容，如果大家觉得博主的文章还不错，请...

上一章为大家分享了hadoop入门的基础知识，本章博主将带领大家一起升入了解hadoop的HDFS底层原理以及hadoop内部rpc框架的原理和使用。 一、本节目的 HDFS工作机制的学习主要是为了加深大家对...

本篇博主将介绍大家中学习前面的hadoop文章中可能出现的问题。 首先，可能涉及的命令： #命令：startx启动linux图形界面 #设置时间（或者也可使用ntp做linux时间同步） sudo date -s "2018-1...

上一篇文章博主为大家讲述了hadoop的命令行操作，以及第一个mapreduce程序的运行案例。本篇将博主将继续解释在windows10系统上搭建hadoop以及使用JavaAPI操作HDFS文件系统。 一、win10上搭建...

本篇文章，博主跟大家分享一个快速为java新建对象生成local变量的快捷方式，该方式可以大大的提高开发效率，博主用的非常的爽。 第一步，windows->preferences-Keys，打开快捷键编辑地方，找...

上一篇文章，博主为大家分享了hadoop的安装以及集群的启动，本篇博客将带领小伙伴们一起来感受下hadoop命令和Linux命令的使用有什么不同。 一、首先，启动hadoop集群，执行脚本sh start-dfs....