加载中
大数据容器化,头部玩家尝到了甜头?

大数据的需求热度,从来都是这个时代的浪尖。然而由于大数据系统的复杂性,一度导致业界大数据已死的各种声音不断。尤其是当MapR被HPE收购,Cloudera公司股票持续跌成狗,使得这种声音进一步...

大数据场景下Volcano高效调度能力实践

摘要:本篇文章将会从Spark on Kubernetes 发展历程以及工作原理,以及介绍一下Spark with Volcano,Volcano如何能够帮助 Spark运行地更高效。 Spark on Kubernetes 我们来看Spark on Kubern...

数据隔离、访问授权,用好大数据为什么这么难?

摘要:如何保证企业大数据在满足各业务部门数据访问需求的同时又能精细化保障数据访问安全、避免数据泄露是每个企业大数据资产管理者必须关注的话题。 如今,企业大数据资产在企业辅助决策、...

大数据下单集群如何做到2万+规模?

摘要:用户的多场景融合分析的诉求不允许将集群进行拆分,不允许将数据分析业务割裂而导致业务模块之间失去关联,故华为开启了单集群2万节点规模探索。 7月9日,中国通信院在大数据产业峰会·...

再拔头筹,FusionInsight为华为云大数据打造硬实力

摘要:在IDC2020大数据报告中,有云服务厂商、传统ICT 厂商,以及大数据时代的创企等三类“玩家”,为何华为云能够脱颖而出? 近日,IDC发布《IDC MarketScape: 中国大数据管理平台厂商评估,...

2020/11/12 11:28
1.6K
KubeEdge在国家工业互联网大数据中心的架构设计与应用

摘要:在18年的时候,工信部开展了一个叫国家创新发展工程,这个工程中提出了要建立一个国家工业大数据中心,中国移动在其中承担了边缘协同与数据采集相关功能的研发。本文将从该项目背景下面...

大数据管理:构建数据自己的“独门独院”

摘要:海量数据浪涌促成大数据集群不断升级扩容,为减少数据搬迁、避免跨集群用数,大集群出现是发展的必然。 随着社会各行各业的数字化进程,未来几年,数据将指数级增长。据预测,2025年移...

数据平台、大数据平台、数据中台……你确定能分得清吗?

造概念,在IT行业可不是一件陌生的事儿,中文博大精深,新名词、新概念往往简单准确,既可以被大众接受,又可以被专家把玩,真正做到雅俗共赏、各有趣味。近年来,数据中台之火爆,什么数据平...

3.7亿条保单数据怎么分析?这个大数据平台有绝招

受到新冠疫情影响,全球经济面临冲击,国内经济已进入复工复产有序发展的新常态阶段,企业想要实现持续增长需另寻突破点,越来越多的企业把视线转向了企业内部,希望通过推进精细化管理来实现...

大数据实践解析(下):Spark的读写流程分析

导读: 众所周知,在大数据/数据库领域,数据的存储格式直接影响着系统的读写性能。spark是一种基于内存的快速、通用、可扩展的大数据计算引擎,适用于新时代的数据处理场景。在“大数据实践...

大数据处理黑科技:揭秘PB级数仓GaussDB(DWS) 并行计算技术

摘要:通过这篇文章,我们了解了GaussDB(DWS)并行计算技术的原理以及调优策略。希望广大开发者朋友们能够在实践中尝试该技术,更好地进行性能优化。 随着硬件系统的越来越好,数据库运行的C...

2020/11/05 11:38
3.9K
银行大数据新玩法,构建“一湖两库”金融数据湖

摘要:烟囱式的数据平台建设导致“数据孤岛”,“一湖两平台”的金融数据湖让大数据发挥最大的业务价值。 大数据技术经过近几年的快速发展,在企业数据中心的基础设施上已不鲜见,尤其是金融...

一文带你彻底了解大数据处理引擎Flink内存管理

摘要: Flink是jvm之上的大数据处理引擎。 Flink是jvm之上的大数据处理引擎,jvm存在java对象存储密度低、full gc时消耗性能,gc存在stw的问题,同时omm时会影响稳定性。同时针对频繁序列化和...

2020/12/16 10:50
1.8K
大数据实践解析(上):聊一聊spark的文件组织方式

摘要: 在大数据/数据库领域,数据的存储格式直接影响着系统的读写性能。Spark针对不同的用户/开发者,支持了多种数据文件存储方式。本文的内容主要来自于Spark AI Summit 2019中的一个talk【...

华为云FusionInsight MRS:助力企业构建“一企一湖,一城一湖”

摘要:华为云FusionInsight MRS新一代的数据湖,让大数据越用越快、越用越易、越用越稳、越用越省!让数据价值近在眼前! 10月30日,以“携手共赢·数创未来”为主题的第二届数据分析技术与应...

疫情数据背后,聊聊数据分析平台变迁史

今年年初这场突如其来的疫情,让我们早晨醒来打开手机的第一件事情,从刷朋友圈变成了刷每日最新的疫情数据。看看国内外新增确诊人数/现存确诊人数,看看国内外疫情分布的地图。各大新闻平台...

华为云FusionInsight助力宇宙行打造金融数据湖新标杆

摘要:工行采用了华为云FusionInsight MRS大数据存算分离方案,实现了大数据平台与OBS对象存储服务的对接,将原有的HDFS数据无缝迁移到OBS上。在保证性能的前提下,实现了计算与存储独立按需...

海量数据拉升背后的成本困扰:存算分离成美图降本增效新良方

摘要:如何快速通过云化,实现资源利用率提升,降本增效,打破传统系统建设的数据孤岛,成为企业快速发展的关键所在。 随着5G和AIoT技术的发展,数据量指数级增长,新的数据业务层出不穷。作...

“3+3”看华为云FusionInsight如何引领“数据新基建”持续发展

摘要:一个统一的现代化的数据基建需要三类架构来实践三种不同的应用场景。 近期,美国知名科技企业风投机构A16Z总结出一套通用的技术架构服务,分为以下三种场景。 一、数据基建架构全景 数...

2020/11/17 10:36
1.6K
Serverless架构的前世今生

一、Serverless简介 云计算的不断发展,涌现出很多改变传统IT架构和运维方式的新技术,而以虚拟机、容器、微服务为代表的技术更是在各个层面不断提升云服务的技术能力,它们将应用和环境中很...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部