加载中
JVM内存模型和GC

内存模型 这张图是我见过的最能描述JVM内存模型的图,JVM包括两个子系统和两个组件。两个子系统为:class loader(类装载)、Execution engine(执行引擎);两个组件为:Runtime data area...

2019/04/08 20:51
6
JAVA内存泄漏和内存溢出的区别和联系

JAVA内存泄漏和内存溢出的区别和联系 1、内存泄漏memory leak : 是指程序在申请内存后,无法释放已申请的内存空间,一次内存泄漏似乎不会有大的影响,但内存泄漏堆积后的后果就是内存溢出。 ...

2019/04/09 20:56
796
Spark 内存管理

Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。 理解 Spark 内存管理的基本原理,有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳...

2019/03/19 17:48
22
大数据调度工具oozie详细介绍

背景 之前项目中的sqoop等离线数据迁移job都是利用shell脚本通过crontab进行定时执行,这样实现的话比较简单,但是随着多个job复杂度的提升,无论是协调工作还是任务监控都变得麻烦,我们选择...

hive 实战总结

hive 体系架构 启动 hive 命令行 进入hive安装目录,输入bin/hive的执行程序,或者输入 hive –service cli hive脚本的执行方式大致有三种 hive可以直接敲hive命令进入interactive模式,直接...

2019/04/10 10:36
267
大数据生命周期管理框架Apache Falcon简介

Apache Falcon是一个开源的hadoop数据生命周期管理框架, 它提供了数据源 (Feed) 的管理服务,如生命周期管理,备份,存档到云等,通过Web UI可以很容易地配置这些预定义的策略, 能够大大简化had...

FAQ

运行环境 EMR版本: EMR-3.14.0 集群类型: HADOOP 软件信息: HDFS2.7.2 / YARN2.7.2 / Hive2.3.3 / Ganglia3.7.2 / Zookeeper3.4.13 / Spark2.3.1 / HBase1.1.1 / HUE4.1.0 / Zeppelin0.8.0 /...

Spark 数据倾斜

什么是数据倾斜 比方WordCount中某个Key对应的数据量非常大的话,就会产生数据倾斜,导致两个后果: OM(单或少数的节点); 拖慢整个Job执行时间(其他已经完成的节点都在等这个还在做的节点...

2019/03/21 09:57
98
Spark SQL

Hive On Spark和SparkSQL都是一个翻译层 把一个SQL翻译成分布式可执行的Spark程序。而且大家的引擎都是spark。 两种方式使用SparkSQL,Spark SQL is a Spark module for structured data pro...

2019/04/11 14:56
32
SparkSQL JDBC连接 mysql

SparkSQL JDBC连接 mysql

2016/07/01 12:21
157
linux 常用命令总结

新手非常有用的20个命令 1. ls命令 ls命令是列出目录内容(List Directory Contents)的意思。运行它就是列出文件夹里的内容,可能是文件也可能是文件夹。 “ls -l”命令已详情模式(long listi...

元数据治理 Apache Atlas

Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop集群提供了包括 数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能...

JAVA +log4J 生产日志测试代码

JAVA +log4J 生产日志测试代码

中级 Linux 用户非常有用的 20 个命令

linux 中级 命令

2016/02/18 19:22
430
HBase 架构和 Java Api

最简单,最易懂,最实用的HBase,快速上手必备收藏

2016/11/24 17:36
888
Ubuntu上手动安装sbt

Ubuntu上手动安装sbt

2016/06/22 16:03
308
flume1.6 install

本文只在让你成功安装 flume,如果不了解flume 请看官网 http://flume.apache.org/ 废话不多,安装测试.

2016/06/15 11:14
566
spark开发工具idea

spark开发工具idea破解安装

2016/05/26 14:51
115
Intellij-idea工具开发spark常见问题解决备案

Intellij-idea工具开发spark常见问题解决备案,环境部署,打包

Flume+Kafka+SparkStreaming 最新最全整合

Flume+Kafka+SparkStreaming整合,为日志分析做准备工具.kafka_2.11,flume1.6.参考了google的前四页,baidu的前15页所有相关消息,很有价值,为节约大家时 间,特分享,求点赞...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部