文档章节

ODPS或者MaxCompute总结及目录首页

年少爱追梦
 年少爱追梦
发布于 2017/07/18 21:05
字数 414
阅读 41
收藏 0

ODPS或者MaxCompute总结及目录首页

上手第一步熟悉帮助文档:

https://help.aliyun.com/document_detail/34614.html?spm=5176.doc27991.6.688.7kvUSO

对odps基础概念进行理解:

project --- 类似database的概念

table --- 类似表的概念

schema --- 各个列的名称和类型构成这张表的 schema

partition --- 分区 Partition 是指一张表下,根据分区字段(一个或多个组合)对数据存储进行划分。 也就是说,如果表没有分区,数据是直接放在表所在的目录下;而如果表有 Partition, 每个 Partition 对应表下的一个目录,数据是分别存储在不同的分区目录下。

resource---资源(Resource)是 ODPS 特有的概念,用户可以上传本地自定义的 JAR 包或文件作为资 源,也可以将 Project 下的某张表作为资源。比如,把 UDF、MapReduce 生成的 JAR 包, 上传本地文件、字典表等。

tunnel--- ODPS Tunnel 是 ODPS 供的数据通道服务,支持各种异构数据源和 ODPS 之间的数据交互。

它是 ODPS 数据对外的统一通道, 供高吞吐、持续稳定的服务。

ODPS基础类型,ODPS 支持以下 5 种原始数据类型:

BIGINT, 8 字节有符号整型

BOOLEAN,布尔型,包括 TRUE/FALSE

DOUBLE,8 字节双精度浮点数

STRING,字符串,需要注意在 ODPS 中的函数会假设 STRING 中存的是 UTF8 编码的字符串,其他编码格式可能会导致异常。

DATETIME 日期类型,格式如 YYYY-MM-DD HH:mm:SS,如 2012-01-02 10:09:25 ODPS 不支持如 Array 这样复杂的数据类型。

 


 

 

 

 

 

© 著作权归作者所有

年少爱追梦
粉丝 35
博文 193
码字总数 120092
作品 0
杭州
程序员
私信 提问
阿里巴巴大数据计算平台MaxCompute(原名ODPS)全套攻略(持续更新20171127)

概况介绍 大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方...

隐林
2017/05/05
0
0
阿里巴巴资深大数据工程师:大数据处理实践

本文首先浅谈了大数据处理发展历程和MapReduce的诞生,我是大数据爱好者,建了一个大数据资源共享群722680258每天分享大数据搭建学习方法,以确定大数据处理系统的实现模式,接着重点分享了M...

董黎明
01/12
34
0
MaxCompute - ODPS重装上阵 第四弹 - CTE,VALUES,SEMIJOIN

摘要: MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提...

阿里云云栖社区
2018/01/15
66
0
DataWorks支持PyODPS类型任务

摘要: 昨天,DataWorks推出了PYODPS任务类型,集成了Maxcompute的Python SDK,可在DataWorks的PYODPS节点上直接编辑Python代码操作Maxcompute,也可以设置调度任务来处理数据,提高数据开发...

阿里云云栖社区
2018/05/14
68
0
MaxCompute - ODPS重装上阵 第三弹 - 复杂类型

摘要: MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提...

阿里云云栖社区
2018/01/12
50
0

没有更多内容

加载失败,请刷新页面

加载更多

nginx学习笔记

中间件位于客户机/ 服务器的操作系统之上,管理计算机资源和网络通讯。 是连接两个独立应用程序或独立系统的软件。 web请求通过中间件可以直接调用操作系统,也可以经过中间件把请求分发到多...

码农实战
今天
5
0
Spring Security 实战干货:玩转自定义登录

1. 前言 前面的关于 Spring Security 相关的文章只是一个预热。为了接下来更好的实战,如果你错过了请从 Spring Security 实战系列 开始。安全访问的第一步就是认证(Authentication),认证...

码农小胖哥
今天
11
0
JAVA 实现雪花算法生成唯一订单号工具类

import lombok.SneakyThrows;import lombok.extern.slf4j.Slf4j;import java.util.Calendar;/** * Default distributed primary key generator. * * <p> * Use snowflake......

huangkejie
昨天
12
0
PhotoShop 色调:RGB/CMYK 颜色模式

一·、 RGB : 三原色:红绿蓝 1.通道:通道中的红绿蓝通道分别对应的是红绿蓝三种原色(RGB)的显示范围 1.差值模式能模拟三种原色叠加之后的效果 2.添加-颜色曲线:调整图像RGB颜色----R色增强...

东方墨天
昨天
11
1
将博客搬至CSDN

将博客搬至CSDN

算法与编程之美
昨天
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部