加载中
Hadoop 生产配置文件V2

Hadoop 生产配置文件V2 生产环境的配置文件调优 !!! Apache Hadoop 2.7.3 && NN HA && RM HA且仅针对于HDFS && Yarn 本身配置文件,不包括Gc 等其他单独角色调优 ,可供与参考或者直接使用。...

2019/04/03 17:10
39
CDH中搭建Spark遇见的错误

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/ FSDataInputStream export SPARK_DIST_CLASSPATH=$(hadoop classpath) 还需要配置上 : Spark 启动java....

2019/03/28 22:31
18
浅谈数据同步之道

数据同步,顾名思义就是不同系统的数据进行同步处理。而业务系统所涉及的数据库同步是重中之重,虽然大部分数据库都提供了导入导出的工具,但是数据存储到各个地方,Hive、Hbase、MySQL、Ora...

2019/03/30 19:06
51
大数据从哪里来?

现代商业市场是一个数据驱动的环境,可以说不论技术怎么更新换代,数据都有着不可替代的地位,而且抛开数据谈大数据就是瞎扯,没有数据作支撑的大数据平台就是一个空壳。无论是公司内部的数据...

python3 对拉勾数据进行可视化分析

  上回说到我们如何如何把拉勾的数据抓取下来的,既然获取了数据,就别放着不动,把它拿出来分析一下,看看这些数据里面都包含了什么信息。(本次博客源码地址:https://github.com/MaxLyu...

2019/04/02 23:21
18
centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署

前言 本文是讲如何在centos7(64位) 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装,需要先将集群服务停掉,然后将不需要的环境变量注释掉即可,如果不注释掉,后面虽然可以安装成...

2019/03/29 17:20
7
运商大数据架构--二章(1)

架构驱动的因素   运营商和互联网面临不同的历史时期,因而大数据在各自领域承担的使命是不一样的   运营商面临被管道化的挑战,营收下滑,大数据项目承担企业战略转型、数据变现的使命。...

设计模式之代理模式

代理模式为另一个对象提供一个替身以控制对这个对象的访问。从定义可以看出,1. 代理模式提供了一个替身,即代理对象 2. 代理对象是为了控制对另一个对象(真实对象)的访问,控制可以理解为...

2019/04/01 13:43
14
数据安全小结

数据安全 安全体系 面对复杂的大数据安全环境,需要从四个层面综合考虑以建立全方位的大数据安全体系:边界安全、访问控制和授权、数据保护、审计和监控。如下图所示: 1、边界——限制只有合...

2019/01/28 12:29
20
支付宝架构师眼中的高并发架构

阅读本文大概需要 11.4 分钟。 来源:my.oschina.net/u/3772106/blog/1793561 前言 高并发经常会发生在有大活跃用户量,用户高聚集的业务场景中,如:秒杀活动,定时领取红包等。 为了让业务...

2019/04/13 09:28
8

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部