文档章节

Sqoop集成Teradata驱动

Yulong_
 Yulong_
发布于 2016/11/02 18:30
字数 520
阅读 19
收藏 0
点赞 0
评论 0

#Teradata Sqoop部署过程 ##驱动包下载 下载sqoop-connector-teradata.jar

  • sqoop-connector-teradata-1.6c5.jar

下载teradata jdbc jar

  • terajdbc4.jar
  • tdgssconfig.jar

拷贝至$SQOOP_HOME/lib

##配置teradata sqoop驱动 cd $SQOOP_HOME/conf mkdir managers.d chmod 755 manager.d cd manager.d vi cldra_td_connector com.cloudera.connector.teradata.TeradataManagerFactory=/opt/beh/core/sqoop/lib/sqoop-connector-teradata-1.6c5.jar

在sqoop-site.xml中添加

configuration>
<property>
<name>sqoop.connection.factories</name>
<value>com.cloudera.sqoop.manager.DefaultManagerFactory,com.cloudera.connector.teradata.TeradataManagerFactory</value>
</property>
</configuration>

#Sqoop命令 ##Oracle

查看Oracle是否可用JDBC连接

sqoop list-tables --verbose --connect jdbc:oracle:thin:@172.16.13.137:1521/xe --username BDC --password bdc123 

Hive->Oracle

sqoop export --connect jdbc:oracle:thin:@172.16.13.137:1521/xe --username BDC --password bdc123 --table TABLE2 --fields-terminated-by  '^A'  --export-dir /user/hive/warehouse/table1 -m 1 --input-null-string '\\N'  --input-null-non-string '\\N'

Oracle->Hive

sqoop import --connect jdbc:oracle:thin:@172.16.13.137:1521/xe --username BDC --password bdc123 --table TABLE2  --fields-terminated-by  '^A'  --hive-overwrite --hive-database default  --hive-table table1 -m 1

##Teradata

查看Teradata是否可用JDBC连接

sqoop list-tables --verbose --connect "jdbc:teradata://192.168.246.128/test" --username RENGENG --password rengeng --driver com.teradata.jdbc.TeraDriver

HDFS(Hive)->Teradata

sqoop export --connect jdbc:teradata://192.168.246.128/DATABASE=rengeng --username RENGENG --password rengeng --table TABLE2  --fields-terminated-by  '^A'  --export-dir /user/hive/warehouse/table1 -m 1 --update-mode allowinsert

Teradata->Hive

sqoop import --hive-import --connect jdbc:teradata://192.168.246.128/DATABASE=rengeng --username RENGENG --password rengeng --table TABLE1  --fields-terminated-by  '^A'  --hive-overwrite --hive-database default  --hive-table table1 -m 1 --delete-target-dir --verbose --split-by name

Teradata->HDFS

sqoop import --connect jdbc:teradata://192.168.246.128/DATABASE=rengeng --username RENGENG --password rengeng --table TABLE1  --fields-terminated-by  '^A' --target-dir /user/hive/warehouse/table1 --delete-target-dir -m 1 --delete-target-dir --verbose --split-by name

Teradata-(SQL)>HDFS

sqoop import --connect jdbc:teradata://192.168.246.128/DATABASE=rengeng --username RENGENG --password rengeng  --fields-terminated-by  '^A' --target-dir /user/hive/warehouse/table1 --delete-target-dir -m 1 --delete-target-dir --verbose --split-by name -e "select * from rengeng.table1 where \$CONDITIONS"

#Teredata vmware使用 ##vmware安装使用

  • 安装vmware,导入系统(注意td提供的版本是64位的)
  • Linux系统:root/root
  • 配置ip: Enter a cop entry in the linux hosts file (/etc/hosts accessible from the linux command line in the VMware console, ie. c:>vi /etc/hosts) Should be something like "192.168.186.128 hyperjcop1 dbccop1" Use "/sbin/ifconfig" command on linux vm to find the ipaddress
  • 启动服务:/etc/init.d/tpa start (tpa stop停止服务) 正常情况会打印下面两行信息,表示启动成功。 Teradata database inititiator service is starting。。。 pde(pdemain) already running :use ‘tpareset -f force’
  • td的默认用户名密码:dbc/dbc

##2.2、Teradata数据库登录 bteq .logon 127.0.0.1/dbc --password dbc

##2.3、数据库创建

  • 创建一个数据库的命令举例:
    Create database test as perm=200000000,spool=100000000;
  • 2、创建用户的命令实例:
    Create user rengeng as perm=200000000,spool=100000000,password=rengeng;
  • 3、创建表
    create table rengeng.table1(id integer,name varchar(5));

© 著作权归作者所有

共有 人打赏支持
Yulong_
粉丝 8
博文 79
码字总数 169760
作品 0
朝阳
部门经理
Talend 与 MapR 联合宣布大数据集成与质量认证

Talend 与 MapR Technologies,Inc.今天联合宣布 Talend 推出的主打开源大数据集成解决方案—— Talend Open Studio for Big Data 已经获得使用 MapR Hadoop Distribution 的认证,为使用 Ha...

ychenETL ⋅ 2012/03/22 ⋅ 0

有技术、懂业务,Teradata持续专注数据分析

最近的科技圈儿,这本书“来势汹汹”,先上个封面图让大家瞧瞧! 据悉,该书是Teradata天睿公司首席运营官Oliver Ratzesberger与美国西北大学凯洛格商学院Mohan Sawhney教授联合创作的,一度...

sch881226 ⋅ 05/30 ⋅ 0

Teradata JDBC driver

NCR的数据库Teradata官方JDBC驱动 驱动类名:com.ncr.teradata.TeraDriver 连接URL:jdbc:teradata//GatewayServerName:PortNumber/DatabaseServerName/Param1,Param2,......

匿名 ⋅ 2008/09/09 ⋅ 0

基于Hadoop生态圈的数据仓库实践 —— ETL(一)

一、使用Sqoop抽取数据 1. Sqoop简介 Sqoop是一个在Hadoop与结构化数据存储(如关系数据库)之间高效传输大批量数据的工具。它在2012年3月被成功孵化,现在已是Apache的顶级项目。Sqoop有Sqo...

wzy0623 ⋅ 2016/07/01 ⋅ 0

中信银行荣获Teradata EPIC分析卓越奖

  【IT168 资讯】数据和分析解决方案供应商Teradata天睿公司(Teradata Corporation,纽交所:TDC)宣布,在刚刚结束的Teradata全球用户大会上,中信银行最终荣获本年度的Teradata EPIC分析卓...

it168网站 ⋅ 2017/11/14 ⋅ 0

Sqoop2 vs Sqoop

以下文字内容部分译自Sqoop2 vs Sqoop: Sqoop1是一个客户端程序,用户只需在客户端添加驱动或者连接器到Sqoop中即可使用, Sqoop2是一个基于服务的模型,新一代Sqoop,所有配置以及驱动都必...

cwalet ⋅ 2015/11/23 ⋅ 0

sqoop没有添加驱动包的时候也可以运行

问题是这样的,我使用sqoop1.4.6把mysql的数据导入hdfs上,不管在${SQOOP_HOME}/lib这里面有没有mysql驱动包,他就是报错, 15/11/26 06:47:52 INFO manager.SqlManager: Executing SQL sta...

happy俊vs哥 ⋅ 2015/11/26 ⋅ 0

Teradata天睿公司:为了客户价值的进化

“帮助客户产生业务价值”一直是Teradata天睿公司的核心目标,为了满足企业不断变化的架构需求,Teradata一直在不断进化。尤其现如今混合云已成为大势趋,Teradata最新企业级战略将产品、流程...

玄学酱 ⋅ 03/16 ⋅ 0

大数据实验室(大数据基础培训)——Sqoop的安装、配置及基础使用

为某企业做的培训,完整文档见:http://gudaoxuri.github.io/bd-lab/ 12. Sqoop 官方文档:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html 12.1. 安装 tar -zxf sqoop-1.4.6.binha......

孤岛旭日 ⋅ 2016/05/06 ⋅ 0

sqoop1.4.6离线部署于hadoop2.6之上与hive导入导出数据

1) .下载最新的sqoop1.4.6安装包 sqoop-1.4.6.binhadoop-2.0.4-alpha.tar 2) . 解压到/usr/local,跟hadoop同一级别 3) 添加环境变量 4) 编辑配置文件 -# cp sqoop-env-template.sh sqoop-en......

thinkpadshi ⋅ 2017/08/28 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Greys Java在线问题诊断工具

https://github.com/oldmanpushcart/greys-anatomy/wiki/greys-pdf#command-monitor

素雷 ⋅ 15分钟前 ⋅ 0

git从远程仓库拉取代码的常用指令

一种(比较麻烦的)拉代码的方法 git clone //克隆代码库,与远程代码库的主干建立连接,如果主干已经在就不用再clone啦,克隆路径为当前路径下的新创建的文件夹 git checkout -b //本地建立...

Helios51 ⋅ 29分钟前 ⋅ 0

005. 深入JVM学习—Java堆内存参数调整

1. JVM整体内存调整图解(调优关键) 实际上每一块子内存区域都会存在一部分可变伸缩区域,其基本流程:如果内存空间不足,则在可变的范围之内扩大内存空间,当一段时间之后,内存空间不紧张...

影狼 ⋅ 34分钟前 ⋅ 0

内存障碍: 软件黑客的硬件视图

此文为笔者近日有幸看到的一则关于计算机底层内存障碍的学术论文,并翻译(机译)而来[自认为翻译的还行],若读者想要英文原版的论文话,给我留言,我发给你。 内存障碍: 软件黑客的硬件视图...

Romane ⋅ 今天 ⋅ 0

SpringCloud 微服务 (七) 服务通信 Feign

壹 继续第(六)篇RestTemplate篇 做到现在,本机上已经有注册中心: eureka, 服务:client、order、product 继续在order中实现通信向product服务,使用Feign方式 下面记录学习和遇到的问题 贰 or...

___大侠 ⋅ 今天 ⋅ 0

gitee、github上issue标签方案

目录 [TOC] issue生命周期 st=>start: 开始e=>end: 结束op0=>operation: 新建issueop1=>operation: 评审issueop2=>operation: 任务负责人执行任务cond1=>condition: 是否通过?op3=>o......

lovewinner ⋅ 今天 ⋅ 0

浅谈mysql的索引设计原则以及常见索引的区别

索引定义:是一个单独的,存储在磁盘上的数据库结构,其包含着对数据表里所有记录的引用指针. 数据库索引的设计原则: 为了使索引的使用效率更高,在创建索引时,必须考虑在哪些字段上创建索...

屌丝男神 ⋅ 今天 ⋅ 0

String,StringBuilder,StringBuffer三者的区别

这三个类之间的区别主要是在两个方面,即运行速度和线程安全这两方面。 首先说运行速度,或者说是, 1.执行速度 在这方面运行速度快慢为:StringBuilder(线程不安全,可变) > StringBuffer...

时刻在奔跑 ⋅ 今天 ⋅ 0

java以太坊开发 - web3j使用钱包进行转账

首先载入钱包,然后利用账户凭证操作受控交易Transfer进行转账: Web3j web3 = Web3j.build(new HttpService()); // defaults to http://localhost:8545/Credentials credentials = Wallet......

以太坊教程 ⋅ 今天 ⋅ 0

Oracle全文检索配置与实践

Oracle全文检索配置与实践

微小宝 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部