文档章节

ODPS Tunnel SDK核心概念(待续)

年少爱追梦
 年少爱追梦
发布于 2017/07/18 21:42
字数 163
阅读 127
收藏 0

 ODPS Tunnel SDK核心概念

GeneralConfiguration 是 ODPS Tunnel 的配置信息,需要通过 accessId(云账号 ID)、accessKey(云 账号秘钥)、endpoint( ODPS Tunnel 服务 URL)来创建。它 供一组 get/set 方法,除了可 以设置或获取accessId、accessKey和endpoint信息外,还可以获取网络传输的数据块大小、 底层 Socket 超时时间等。

public class GeneralConfiguration {
  protected Odps odps;
  private int chunkSize;
  private int socketConnectTimeout;
  private int socketTimeout;
  protected URI endpoint;
}

TableTunnel是ODPS对表格数据上传下载的实际接口,内部类UploadSession内部封装了一个HTTP请求,也就是SDK所有交互其实还是借助的HTTP协议。

 

 

© 著作权归作者所有

年少爱追梦
粉丝 35
博文 190
码字总数 119538
作品 0
杭州
程序员
私信 提问
离线批量数据通道Tunnel的最佳实践及常见问题

基本介绍及应用场景 Tunnel是Odps提供的离线批量数据通道服务,主要提供大批量离线数据上传和下载, 仅提供每次批量大于等于64MB数据的场景,小批量流式数据场景请使用DataHub实时数据通道以...

云花
2018/12/12
0
0
MaxCompute常见问题(2019.04新版)

计量计费 购买开通 MaxCompute计费常见问题 现在公司有数据统计分析的需求,已经在用RDS数据库,还应该开通什么服务? 从MaxCompute上下载数据,使用华东2的ECS云主机使用内网,收取流量费用...

云花
04/09
0
0
如何使用Tunnel SDK上传/下载MaxCompute复杂类型数据

基于Tunnel SDK如何上传复杂类型数据到MaxCompute?首先介绍一下MaxCompute复杂数据类型: 复杂数据类型 MaxCompute采用基于ODPS2.0的SQL引擎,丰富了对复杂数据类型类型的支持。MaxCompute支...

云花
01/24
0
0
MaxCompute Spark开发指南

概述 本文档面向需要使用MaxCompute Spark进行开发的用户使用。本指南主要适用于具备有Spark开发经验的开发人员。 MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务,它在统一的计...

zhaowei121
03/11
9
0
MaxCompute Tunnel上传典型问题场景

数据问题 Q:使用Tunnel Java SDK上传数据,上传数据可以自动分配到各个分区吗? A:目前Tunnel是无法自动上传数据并自动分配到各个分区的:每一次上传只支持数据上传到一张表或表的一个分区...

付帅
2018/08/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

RxJava进行单元测试的方式

@Test public void completeTask_retrievedTaskIsComplete() { // Given a new task in the persistent repository final Task newTask = new Task(TITLE, ""); ......

SuShine
3分钟前
1
0
正则表达式大全

检验手机号码 # 要求:手机号码必须为11位数字,以1开头,第二位为1或5或8。import redef verify_mobile(): mob = input("请输入手机号码:") ret = re.match(r"1[358]\d{9}", m......

彩色泡泡糖
7分钟前
1
0
QT之border-image属性

一、border-image的兼容性 border-image可以说是CSS3中的一员大将,将来一定会大放光彩,其应用潜力真的是非常的惊人。可惜目前支持的浏览器有限,仅Firefox3.5,chrome浏览器,Safari3+支持...

shzwork
8分钟前
2
0
Kubernetes Operator简易教程

1. 安装operator-sdk //安装 operator-sdk$ apt-get install operator-sdk.....$ operator-sdk versionoperator-sdk version: v0.7.0$ go versiongo version go1.11.4 darwin/amd64 2......

Robotcl_Blog
8分钟前
2
0
再谈DAG任务分解和Shuffle RDD

1、DagScheduler分析 DagScheduler功能主要是负责RDD的各个stage的分解和任务提交。Stage分解是从触发任务调度过程的finalStage开始倒推寻找父stage,如果父stage没有提交任务则循环提交缺失...

守望者之父
14分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部