加载中
大数据教程(7.6)shell脚本定时采集日志数据到hdfs

上一篇博客博主分享了hadoop内置rpc的使用案例,本节博主将为小伙伴们分享一个在实际生产中使用的日志搜集案例。前面的文章我们有讲到过用户点击流日志分析的流程,本节就是要完成这个分析流...

数据库(mysql)业务用户表批量造测试用户密码数据[方案]

博主这几天在配合公司测试做商城商品秒杀场景的压测,由于秒杀需要登录,所以需要为测试创建多个用户密码。此项任务可能在今后还会遇到,先做个笔录。同时,让小伙伴们需要的时候也可以有个参...

前天 19:00
5
大数据教程(7.5)hadoop中内置rpc框架的使用教程

博主上一篇博客分享了hadoop客户端java API的使用,本章节带领小伙伴们一起来体验下hadoop的内置rpc框架。首先,由于hadoop的内置rpc框架的设计目的是为了内部的组件提供rpc访问的功能,并不...

11/15 00:13
10
大数据教程(7.4)HDFS的java客户端API(流处理方式)

博主上一篇博客分享了namenode和datanode的工作原理,本章节将继前面的HDFS的java客户端简单API后深度讲述HDFS流处理API。 场景:博主前面的文章介绍过HDFS上存的大文件会成不同的块存储在不...

大数据教程(7.3)namenode管理元数据的机制&datanode工作机制介绍

前面两篇博客介绍了HDFS客户端读写数据流程,本篇博主将带给小伙伴们namenode和datanode的工作机制的分享。 一、目标 理解namenode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理...

【亿级用户】大型项目双11服务器弹性扩容方案(含操作步骤)

岁月如梭,一年一度的光棍节又来了。博主和往年一样,干着双11加班的活。不知道此时此刻是否有一大波屌丝和博主一样呢?当前闲暇时刻,博主忍不住给各位屌丝同僚们来一波进补,为了博主的无私...

大数据教程(7.2)客户端向HDFS读数据流程分析

上一篇博客分享过了HDFS写数据的流程,本节博主将为大家带来HDFS读数据流程的分享。 一、从HDFS读文件的流程如图 最后寄语,以上是博主本次文章的全部内容,如果大家觉得博主的文章还不错,请...

11/08 23:19
10
大数据教程(7.1)客户端向HDFS写数据流程分析

上一章为大家分享了hadoop入门的基础知识,本章博主将带领大家一起升入了解hadoop的HDFS底层原理以及hadoop内部rpc框架的原理和使用。 一、本节目的 HDFS工作机制的学习主要是为了加深大家对...

大数据教程(6.7)第六章问题总结

本篇博主将介绍大家中学习前面的hadoop文章中可能出现的问题。 首先,可能涉及的命令: #命令:startx启动linux图形界面 #设置时间(或者也可使用ntp做linux时间同步) sudo date -s "2018-1...

大数据教程(6.6)windows10上开发与搭建hadoop系统&使用JavaAPI操作HDFS文件系统

上一篇文章博主为大家讲述了hadoop的命令行操作,以及第一个mapreduce程序的运行案例。本篇将博主将继续解释在windows10系统上搭建hadoop以及使用JavaAPI操作HDFS文件系统。 一、win10上搭建...

ecllipse/sts如何设置为new对象自动生成local变量的快捷键

本篇文章,博主跟大家分享一个快速为java新建对象生成local变量的快捷方式,该方式可以大大的提高开发效率,博主用的非常的爽。 第一步,windows->preferences-Keys,打开快捷键编辑地方,找...

11/04 21:38
7
大数据教程(6.5)hadoop shell命令操作&mapreduce程序运行初体验

上一篇文章,博主为大家分享了hadoop的安装以及集群的启动,本篇博客将带领小伙伴们一起来感受下hadoop命令和Linux命令的使用有什么不同。 一、首先,启动hadoop集群,执行脚本sh start-dfs....

最新win10系统安装 jdk1.7、jdk1.8共存环境配置

背景:由于博主最近搞大数据方面的东西,linux集群上使用的是jdk1.7来编译的hadoop,而本地又有些项目需要使用jdk1.8;所以需要同时安装两个版本的jdk以供切换。 一、oracle官网下载jdk1.8进...

11/03 12:48
25
大型项目mysql5.6主从读写分离搭建(一主三从)

本篇文章记录博主所负责的一个大型项目最近一次遇到主从失效,重新搭建的整个过程。博主可是干了几个小时才搭建好,但是小伙伴们不要怕,其实搭建主从本身是非常简单的;主要还是数据量十几个...

大数据教程(6.4)centos6.9安装hadoop2.9.1

在上一篇博客,博主为大家讲述了centos6.9上编译hadoop2.9.1全过程,这一章节博主将带着大家一起来安装hadoop。 本篇博客中可能用到的额外的命令: #关闭selinux sudo vi /etc/sysconfig/se...

大数据教程(6.3)hadoop安装环境准备+centos6.9编译hadoop2.9.1

一、hadoop集群结构介绍 hadoop自身集群中包含两个子集群,它们分别是hdfs集群、yarn集群;hdfs集群用于管理数据文件,而yarn集群用于管理集群运算相关的工作。hdfs集群中主要包含两种节点角...

大数据教程(6.2)hadoop在实际项目中的架构分析

前一章节,博主介绍了大数据中hadoop的生态圈以及大数据目前的就业前景分析,本节博主将继续为大家分享一个典型的大数据分布式应用场景。 一个应用广泛的数据分析系统:“web日志数据挖掘”:...

大数据教程(6.1)hadoop生态圈介绍及就业前景

1. HADOOP背景介绍 1.1、什么是HADOOP 1.HADOOP是apache旗下的一套开源软件平台 2.HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 3.HADOOP的核心组...

大数据教程(3.10):zookeeper分布式共享锁的程序

本节博主将为大家提供一个分布式共享锁的事例,由于分布式共享锁在很多场景下均需要使用,非常的重要。所以,大家一定要掌握这块知识点。 对于还不清楚分布式共享锁原理的请先看之前的文章大...

08/05 14:51
24
大数据教程(3.9):zookeeper分布式应用系统服务器上下线动态感知程序开发_

之前在zookeeper介绍时,有提到过zookeeper的应用场景有服务器上下线动态感知、分布式共享锁等等。本节博主将为大家提供一个分布式服务动态感知的事例,在后期博主的开源项目中的自己开发远程...

08/05 14:14
10

没有更多内容

加载失败,请刷新页面

返回顶部
顶部