内存迭代计算 - 大数据处理技术研究、使用 - OSCHINA

cloud-coder

热衷于大数据处理技术研究、使用<br> 关注中间件技术

500

经验值

开源豆

256

粉丝

关注

关注私信

专长领域： WEB开发, 服务器端开发, 软件开发管理

开发平台： Java EE, Java SE, PHP, Python, Linux/Unix

连击天

fork: star:

加载中

如何在SPARK函数中使用UDF或UDAF

spark udf udaf spark1 stringhandling 5dataframeapihighlights date time timeintervals andudafs

内存迭代计算

2016/03/18 15:57

1.1W

近日，人气开源分布式内存文件系统Tachyon正式更名为Alluxio，并发布了1.0版本。自从Alluxio的第一个开源版本发布之后，社区的人数从1个迅速增加到200多个，这200多人来自50多个公司，这些公...

alluxio 存储系统 news 分布式存储系统 html release releases .net ceph apachespark

内存迭代计算

2016/02/24 11:25

493

DataFrame让Spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，计算性能更还快了两倍。本文提供使用DataFrame进行数据处理的样例

spark 大数据 oracle dataframe rmdb sparkdataframe

内存迭代计算

2016/01/08 18:19

2.4K

摘要：Tachyon把内存存储的功能从Spark中分离出来，使Spark可以更专注计算的本身，以求通过更细的分工达到更高的执行效率。

spark worker 文件系统 client tachyon hdfs 大数据 block 数据查询数据存储 memory

内存迭代计算

2015/07/07 09:58

776

Spark Streaming 基本概念

java log4j spark sparkstreaming

内存迭代计算

2015/06/18 10:59

1.8K

Spark SQL性能优化

spark java 性能优化 sparksql default batchsize beeline inmemorycolumnarstorage

内存迭代计算

2015/06/17 16:53

5.1K

如何使用Spark SQL 的JDBC server

spark cdh5 jdbcserver sparksql thriftserver sinceitusesthethriftcommunicationprotocol buthere

内存迭代计算

2015/06/17 11:40

1.8W

Apache Parquet 是一个列存储格式，主要用于 Hadoop 生态系统。对数据处理框架、数据模型和编程语言无关。Cloudera的大数据在线分析（OLAP）项目Impala中使用该格式作为列存储。...

parquet hadoop 数据处理编程语言列式存储格式格式转换工具数据存储开源

内存迭代计算

2015/06/17 10:27

7.1K

spark sql的JAVA版简单示例

json java spark hive sparksql cdh5 0hive 0hadoop 0sparksql

内存迭代计算

2015/06/16 17:36

2.2W

没有更多内容

加载失败，请刷新页面

没有更多内容

cloud-coder

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈