加载中
Flume简介和架构安装配置详解

flume简介 Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的软件。 Flume 的核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地...

流处理组件Flume使用攻略

Flume概述 Flume是一种日志采集工具。是一种分布式,可靠且可用的服务,可用于有效的手机,聚合和移动大量日志数据,它具有基于流数据的简单灵活架构,它具有可靠性机制和许多故障转移和恢复...

昨天 13:57
5
Flink是如何支持批流一体的

实现批处理的技术许许多多,从各种关系型数据库的sql处理,到大数据领域的MapReduce,Hive,Spark等等。这些都是处理有限数据流的经典方式。而Flink专注的是无限流处理,那么他是怎么做到批处...

Tomcat系统架构分析-Service

Tomcat 的结构很复杂,但是 Tomcat 也非常的模块化,找到了 Tomcat 最核心的模块,您就抓住了 Tomcat 的“七寸”。 Tomcat整体结构 Tomcat总体结构图 从上图中可以看出 Tomcat 的心脏是两个组...

01/14 11:21
16
Kafka的集群搭建步骤

进到Kafka的config文件夹下,会发现有很多很多的配置文件,可是都不需要你来修改,你仅仅需要点开一个叫作server.properties的文件就够了。 【broker.id】 每个broker都必须自己设置的一个唯...

kafka中的时间轮是如何设计的

Kafka 中有很多延时操作,比如对于耗时的网络请求(比如 Produce 时等待 ISR 副本复制成功)会被封装成 DelayOperation 进行延迟处理操作,防止阻塞 Kafka请求处理线程。 Kafka 没有使用 JD...

kafka的优缺点都有那些

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 (1)优点:kafka的优...

Kafka架构及基本原理简析

Kafka简介 Kafka是一个由Scala和Java编写的企业级的消息发布和订阅系统,最早是由Linkedin公司开发,最终开源到Apache软件基金会的项目。Kafka是一个分布式的,支持分区的,多副本的和多订阅...

如何使用JDBC API操作数据库

1、使用JDBC API操作数据库的基本步骤 分析使用JDBC API操作数据库,进行CRUD基本步骤都相似。 加载和注册驱动 获取数据库连接 准备操作执行SQL的Statement对象 执行SQL 调用Statement对象的...

01/06 13:50
29
HBase 数据存储结构

在「HBase」中, 从逻辑上来讲数据大概就长这样: 单从图中的逻辑模型来看, HBase 和 MySQL 的区别就是: 将不同的列归属与同一个列族下 支持多版本数据 这看着感觉也没有那么太大的区别呀, 它解...

Flink类型系统的根及相关接口

类型的根Value Value位于所有类型的继承链的最顶端,可以说是所有类型的根。它代指所有可被序列化为Flink二进制表示的类型。该接口本身并不提供任何接口方法,但它继承自两个接口。下图是它的...

How old are you | 尚硅谷大数据之 Canal 视频教程

摘要:谷粉掉的每一根头发,都被刻上了字:汪公子到此一游。 他来了,他又带着礼物走来了。 他眼神中有着梁朝伟同款的忧郁, 稀疏的胡茬一看就是有故事的人, 潇洒美少年,皎如玉树临风前。 ...

浅谈RocketMQ与Kafka有什么区别

为了方便大家更好的选型,小编整理一份RocketMQ与Kafka的对比文档,希望可以帮助到大家。 数据可靠性 RocketMQ支持异步实时刷盘,同步刷盘,同步Replication,异步Replication Kafka使用异步...

2021/12/30 10:53
6
详解HBase Connection 的使用

对于很多初次接触HBase的伙伴,在使用其客户端API来构建Connection连接对象的时候,有可能会陷入以下几个误区。 类比druid等mysql数据库连接池,自己封装一个Connection对象的资源池,每次使...

ORC、Parquet等列式存储的优点

ORC和Parquet都是高性能的存储方式,这两种存储格式总会带来存储和性能上的提升。 1.Parquet (1)Parquet支持嵌套的数据模型,类似于Protocol Buffers,每一个数据模型的schema包含多个字段...

单体应用与微应用典型架构比对

随着云化时代的到来,软件服务架构也从传统的单体架构向微服务架构转变,微服务架构发展的如火如荼,那么单体架构和微服务架构区别在哪里呢? 单体应用典型架构 在典型单体应用架构中,我们会...

YARN(资源调度管理框架)

YARN(Yet Another Resource Negotiator) 取代了Hadoop1.x中MapReduce的资源调度管理,为上层应用(Spark, Hive-MR任务等)提供统一的资源调度管理,Hadoop2.x以后MapReduce只是运行在YARN之上...

kafka的JavaAPI操作

一、创建maven工程并添加jar包 创建maven工程并添加以下依赖jar包的坐标到pom.xml <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependen...

hadoop分布式集群的搭建

修改hosts文件 在上章中 CentOS 7已经配置了Java环境,采用搭建elasticsearch集群的三台 Linux CentOS 7机器,搭建三节点 Hadoop分布式集群,其中node01作为Master,node2和node3作为slaves。...

2021/12/22 10:43
16
从 Hadoop 框架讨论大数据生态

Hadoop 是什么 1) Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。 2)主要解决,海量数据的存储和海量数据的分析计算问题。 3)广义上来说,Hadoop 通常是指一个更广泛的概念—...

2021/12/21 13:57
25

没有更多内容

加载失败,请刷新页面

返回顶部
顶部