文档章节

大数据Spark蘑菇云前传第1课:大数据时代的“黄金”语言Scala(学习笔记)

jcchoiling
 jcchoiling
发布于 2016/08/08 18:25
字数 257
阅读 22
收藏 0
本課課程:
  1. JVM 企業霸主地位與今日 Java 式微
  2. “黄金”语言Scala
  3. Scala 在大數據中的“黄金”地位
 
JVM,是一個代理模式:裡面有代理端和宮戶端的模式。Hadoop 裡的 Name Node 和 Data Node 的通信也是代理模式;Spark 中的 Master 和 Executor 中的通信也是代理模式。它把設置和實理分理開
 
Scala 是大數據中第一重要的技術,Spark 的框架實現語言和首選開發語言! 而 Spark 是目前美國第一賺錢的大數據技術; Scala 也是業界公認的第一重要的消息組件 Kafka 的實現語言和首選開發語言,Kafka 具有無可X敵的吞吐量和消息數據的持久化能力; 
 
Python 是一種動態語言,它不支持靜態檢查!
 
下圖總結一下Spark可以如何與其他技術結合起來:
 
 
 
 

© 著作权归作者所有

共有 人打赏支持
jcchoiling
粉丝 2
博文 10
码字总数 7074
作品 0
香港
教你如何成为Spark大数据高手

Spark目前被越来越多的企业使用,和Hadoop一样,Spark也是以作业的形式向集群提交任务,那么如何成为Spark大数据高手?下面就来个深度教程。 分享之前我还是要推荐下我自己创建的大数据学习交...

风火数据
05/20
0
0
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节②

三、你为什么需要Spark; 你需要Spark的十大理由: 1,Spark是可以革命Hadoop的目前唯一替代者,能够做Hadoop做的一切事情,同时速度比Hadoop快了100倍以上: Logistic regression in Hadoo...

Spark亚太研究院
2014/12/16
0
1
基于Spark环境对比Python和Scala语言利弊

在数据挖掘中,Python和Scala语言都是极受欢迎的,本文总结两种语言在Spark环境各自特点。 本文翻译自 https://www.dezyre.com/article/Scala-vs-Python-for-apache-Spark/213 1.性能对比 由...

A尚学堂Len老师
08/20
0
0
学习大数据这三个关键技术是一定要掌握!

大数据时代全面来临,大数据、人工智能等技术引领科技创新潮流,获得国家政策大力支持,前景广阔。学习大数据技术的人自然是络绎不绝, 学习大数据虽然是一个趋势,但也要注意大数据培训课程...

董黎明
08/19
0
0
Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈与熟练的掌握Scala语言【大数据Spark

Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈 大数据的概念与应用,正随着智能手机、平板电脑的快速流行而日渐普及,大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地...

Spark亚太研究院
2014/08/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

中文地址

火力全開
34分钟前
0
0
71:循环之for、while、break、continue、exit

1、for循环语法: for 变量名 in 条件;do......;done 1:案例1:求1加到100的和: [root@localhost_02 for]# vim for1.sh #!/bin/bashsum=0for i in `seq 1 100`do sum=$[$sum...

芬野de博客
37分钟前
0
0
Log4j2 Analysis

Log4j2 improvement compare with Log4j : AsyncLogger : Implemented by LMAX Disruptor technology (a lock-free inter-thread communication library, instead of queues, resulting in h......

Yixin_Nemo
46分钟前
0
0
玩转js之——new方法的模拟实现

已知new的作用 1.实例可以访问到构造函数的属性和方法 2.实例可以访问到构造函数原型中的属性和方法 //demo:function Person(name, age) { this.name = name this.age = age}Person...

lsner
46分钟前
0
0
SQL--索引使用(1)

以下是优化真实环境sql。 一、原始sql查询时长如下 二、EXPLAIN分析如下,说明 关于explain的讲解详见我另一篇文章 三、结合sql语句分析出 3.1 可以单独给business_id加索引,会优化一部分效...

求是科技
49分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部