加载中
ClickHouse 数据存储架构优化

一、背景 我们最初当时的ClickHouse的版本还是在1.x的时代,partition还不支持自定义,只能按月来划分。我们组内的数据存储还是按天来分表设计,例如“XXXX_20200612”。在后面升级了新版本的...

基于 Spark 技术快速构建数仓项目

数据仓库解决了什么业务问题,它和传统数据库的区别是什么? 对数据仓库的基础架构有大致的了解。 使用 Spark 可以构建数据仓库的哪些核心能力? 如何使用 Spark Core/Streaming 扩展数据源?...

Hive性能调优 | Fetch抓取

我们在刚开始学习hive的时候,都知道hive可以降低程序员的学习成本和开发成本,具体表现就在于可以将SQL语句转换成MapReduce程序运行。 但是Hive中对某些情况的查询可以不必使用MapReduce计算。...

5款强大的JVM 性能调优监控工具 !

原文链接:www.iteye.com/blog/josh-persistence-2161848 现实企业级Java应用开发、维护中,有时候我们会碰到下面这些问题: OutOfMemoryError,内存不足 内存泄露 线程死锁 锁争用(Lock Co...

11/26 23:31
0
一个复杂系统的拆分改造,压力真大!

1 为什么要拆分? 先看一段对话。 从上面对话可以看出拆分的理由: 1) 应用间耦合严重。系统内各个应用之间不通,同样一个功能在各个应用中都有实现,后果就是改一处功能,需要同时改系统中...

13 张图解 Java 中的内存模型

作者:Carson_Ho 链接:juejin.im/post/6844903677279338509 前言 了解Java中的对象、变量等存放的内存区域十分重要 本文将全面讲解Java虚拟机中的内存模型 & 分区,希望你们会喜欢 目录 1....

为什么Redis要比Memcached更火?

来源:http://kaito-kidd.com/2020/06/28/redis-vs-memcached/ 前言 我们都知道,Redis和Memcached都是内存数据库,它们的访问速度非常之快。但我们在开发过程中,这两个内存数据库,我们到底...

数据湖存储架构选型

作者简介 郑锴,花名铁杰,阿里巴巴高级技术专家,Apache Hadoop PMC。深耕分布式系统开发和开源大数据多年,目前专注于在阿里云上研发业界领先的 Hadoop/Spark 大数据平台和数据湖解决方案产...

有必要做 Code Review 吗???

作者:梨香 链接:https://juejin.im/post/6882333635203039239 众所周知,Code Review是开发过程中一个非常重要的环节,但是很多公司或者团队是没有这一环节的,今天笔者结合自己所在团队,...

程序员翻车时的30种常见反应

前言 软件开发工作充满了挑战性。人无完人,对于程序员来说,写出有 bug 的代码是在所难免的。有些人很淡定,也有一些人会感到生气、沮丧、不安或气馁。在修复 bug 的过程中我们都经历了什么...

Spark 数据倾斜及其解决方案

本文从数据倾斜的危害、现象、原因等方面,由浅入深阐述Spark数据倾斜及其解决方案。 一、什么是数据倾斜 对 Spark/Hadoop 这样的分布式大数据系统来讲,数据量大并不可怕,可怕的是数据倾斜...

京东EB级全域大数据平台的演进与治理历程

本文根据包勇军老师在〖2020 DAMS中国数据智能管理峰会〗现场演讲内容整理而成。 (点击文末“阅读原文”可获取完整PPT) 讲师介绍 包勇军,目前在京东任职数据基础平台部、广告质量部、推荐...

我差点去字节跳动做算法了!

大家好,我是程序猿尖。 我一直不知道我在大家心目中的定位是什么,但我内心其实是把自己定义为一个『工具人』的。 可能是因为我自己本身就是程序员,所以更能理解程序员的不易吧。 所以,我...

SQL 性能优化,太太太太太太太有用了!

Cat哥领读: 针对mysql,说了很多优化的点,收藏就好,哈哈哈哈~ wolearn juejin.im/post/59b11ba151882538cb1ecbd0 前言 本文主要针对的是关系型数据数据库 MySql。键值类数据库可以参考: ...

如何构建一个好的电商搜索引擎?

分享嘉宾:邢少敏 第四范式 架构师 编辑整理:刘员京 出品平台:DataFunTalk 导读:机器学习算法的不断进步,搜索引擎巧妙的人机交互设计,分布式系统的革新让搜索引擎在不知不觉中成为人们生...

delete、truncate、drop的区别有哪些,该如何选择?

上周同事小姐姐问我:“哈哥你看,我发现MySQL有bug,我下午为了清理磁盘,明明删除了100万条MySQL数据,磁盘不仅没有变小,反而更满了呢??” 那你是怎么删除的? “delete from table 呀”...

华为数据治理实践

转自:AI启蒙者 文章作者:华为公司数据管理部 内容来源:节选自《华为数据之道》 导读:2017 年华为提出了企业的新愿景:"把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世...

IntelliJ IDEA 构建maven多模块工程项目

来源:blog.csdn.net/sinat_34344123 食用前须知 创建步骤 (详细多图) 1. 创建一个空项目 2.创建第一个模块 3.创建第二个模块 总结 1 食用前需知 本文以a b c 三个模块为例来搭建项目,以达到...

数据仓库架构和建设方法论

1.数据仓库概要 1.1.数据仓库起因 在建设数据仓库之前,数据散落在企业各部门应用的数据存储中,它们之间有着复杂的业务连接关系,从整体上看就如一张巨大的蜘蛛网:结构上错综复杂,却又四通...

数据湖 | Apache Hudi 设计与架构最强解读

本文将介绍Apache Hudi的基本概念、设计以及总体基础架构。 1. 简介 Apache Hudi(简称:Hudi)允许您在现有的hadoop兼容存储之上存储大量数据,同时提供两种原语,使得除了经典的批处理之外,...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部