文档章节

Sqoop集成Teradata驱动

Yulong_
 Yulong_
发布于 2016/11/02 18:30
字数 520
阅读 28
收藏 0

#Teradata Sqoop部署过程 ##驱动包下载 下载sqoop-connector-teradata.jar

  • sqoop-connector-teradata-1.6c5.jar

下载teradata jdbc jar

  • terajdbc4.jar
  • tdgssconfig.jar

拷贝至$SQOOP_HOME/lib

##配置teradata sqoop驱动 cd $SQOOP_HOME/conf mkdir managers.d chmod 755 manager.d cd manager.d vi cldra_td_connector com.cloudera.connector.teradata.TeradataManagerFactory=/opt/beh/core/sqoop/lib/sqoop-connector-teradata-1.6c5.jar

在sqoop-site.xml中添加

configuration>
<property>
<name>sqoop.connection.factories</name>
<value>com.cloudera.sqoop.manager.DefaultManagerFactory,com.cloudera.connector.teradata.TeradataManagerFactory</value>
</property>
</configuration>

#Sqoop命令 ##Oracle

查看Oracle是否可用JDBC连接

sqoop list-tables --verbose --connect jdbc:oracle:thin:@172.16.13.137:1521/xe --username BDC --password bdc123 

Hive->Oracle

sqoop export --connect jdbc:oracle:thin:@172.16.13.137:1521/xe --username BDC --password bdc123 --table TABLE2 --fields-terminated-by  '^A'  --export-dir /user/hive/warehouse/table1 -m 1 --input-null-string '\\N'  --input-null-non-string '\\N'

Oracle->Hive

sqoop import --connect jdbc:oracle:thin:@172.16.13.137:1521/xe --username BDC --password bdc123 --table TABLE2  --fields-terminated-by  '^A'  --hive-overwrite --hive-database default  --hive-table table1 -m 1

##Teradata

查看Teradata是否可用JDBC连接

sqoop list-tables --verbose --connect "jdbc:teradata://192.168.246.128/test" --username RENGENG --password rengeng --driver com.teradata.jdbc.TeraDriver

HDFS(Hive)->Teradata

sqoop export --connect jdbc:teradata://192.168.246.128/DATABASE=rengeng --username RENGENG --password rengeng --table TABLE2  --fields-terminated-by  '^A'  --export-dir /user/hive/warehouse/table1 -m 1 --update-mode allowinsert

Teradata->Hive

sqoop import --hive-import --connect jdbc:teradata://192.168.246.128/DATABASE=rengeng --username RENGENG --password rengeng --table TABLE1  --fields-terminated-by  '^A'  --hive-overwrite --hive-database default  --hive-table table1 -m 1 --delete-target-dir --verbose --split-by name

Teradata->HDFS

sqoop import --connect jdbc:teradata://192.168.246.128/DATABASE=rengeng --username RENGENG --password rengeng --table TABLE1  --fields-terminated-by  '^A' --target-dir /user/hive/warehouse/table1 --delete-target-dir -m 1 --delete-target-dir --verbose --split-by name

Teradata-(SQL)>HDFS

sqoop import --connect jdbc:teradata://192.168.246.128/DATABASE=rengeng --username RENGENG --password rengeng  --fields-terminated-by  '^A' --target-dir /user/hive/warehouse/table1 --delete-target-dir -m 1 --delete-target-dir --verbose --split-by name -e "select * from rengeng.table1 where \$CONDITIONS"

#Teredata vmware使用 ##vmware安装使用

  • 安装vmware,导入系统(注意td提供的版本是64位的)
  • Linux系统:root/root
  • 配置ip: Enter a cop entry in the linux hosts file (/etc/hosts accessible from the linux command line in the VMware console, ie. c:>vi /etc/hosts) Should be something like "192.168.186.128 hyperjcop1 dbccop1" Use "/sbin/ifconfig" command on linux vm to find the ipaddress
  • 启动服务:/etc/init.d/tpa start (tpa stop停止服务) 正常情况会打印下面两行信息,表示启动成功。 Teradata database inititiator service is starting。。。 pde(pdemain) already running :use ‘tpareset -f force’
  • td的默认用户名密码:dbc/dbc

##2.2、Teradata数据库登录 bteq .logon 127.0.0.1/dbc --password dbc

##2.3、数据库创建

  • 创建一个数据库的命令举例:
    Create database test as perm=200000000,spool=100000000;
  • 2、创建用户的命令实例:
    Create user rengeng as perm=200000000,spool=100000000,password=rengeng;
  • 3、创建表
    create table rengeng.table1(id integer,name varchar(5));

© 著作权归作者所有

共有 人打赏支持
Yulong_
粉丝 8
博文 93
码字总数 169760
作品 0
朝阳
部门经理
Talend 与 MapR 联合宣布大数据集成与质量认证

Talend 与 MapR Technologies,Inc.今天联合宣布 Talend 推出的主打开源大数据集成解决方案—— Talend Open Studio for Big Data 已经获得使用 MapR Hadoop Distribution 的认证,为使用 Ha...

ychenETL
2012/03/22
1K
0
有技术、懂业务,Teradata持续专注数据分析

最近的科技圈儿,这本书“来势汹汹”,先上个封面图让大家瞧瞧! 据悉,该书是Teradata天睿公司首席运营官Oliver Ratzesberger与美国西北大学凯洛格商学院Mohan Sawhney教授联合创作的,一度...

sch881226
05/30
0
0
sqoop1.4.6 to hbase1.2 in hue4.1躺坑总结

一、sqoop1.4.6 to hbase1.2 in hue4.1 CM安装 cdh 5.15.x,因想用简单的sqoop1所以parce装的sqoop1 client,经测试报:SQOOPCONFDIR找不到,mysql drive no find ,检查发现安装目录和classpa...

hblt-j
07/31
0
0
Teradata JDBC driver

NCR的数据库Teradata官方JDBC驱动 驱动类名:com.ncr.teradata.TeraDriver 连接URL:jdbc:teradata//GatewayServerName:PortNumber/DatabaseServerName/Param1,Param2,......

匿名
2008/09/09
3.2K
0
基于Hadoop生态圈的数据仓库实践 —— ETL(一)

一、使用Sqoop抽取数据 1. Sqoop简介 Sqoop是一个在Hadoop与结构化数据存储(如关系数据库)之间高效传输大批量数据的工具。它在2012年3月被成功孵化,现在已是Apache的顶级项目。Sqoop有Sqo...

wzy0623
2016/07/01
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Bash重定向详解

Bash重定向详解 Bash的重定向指的是将命令的输入和输出导向不同地方,而不是默认的标准输入、标准输出和标准错误。Bash的重定向实际上是对标准输入、标准输出和标准错误的重置,进而将所需输...

小陶小陶
今天
3
0
EventBus原理深度解析

一、问题描述 在工作中,经常会遇见使用异步的方式来发送事件,或者触发另外一个动作:经常用到的框架是MQ(分布式方式通知)。如果是同一个jvm里面通知的话,就可以使用EventBus。由于Event...

yangjianzhou
今天
8
0
OpenCV图像处理实例:libuv+cvui显示摄像头视频

#include <iostream>#include <opencv2/opencv.hpp>#define CVUI_IMPLEMENTATION#include <cvui.h>extern "C"{#include <uv.h>}using namespace std;#define WINDOW_NAM......

IOTService
今天
3
0
openJDK之JDK9的String

1.openJDK8的String 先来看下openJDK8的String的底层,如下图1.1所示: 图1.1 底层上使用的是char[],即char数组 每个char占16个bit,Character.SIZE的值是16。 2.openJDK9中的String 图2.1...

克虏伯
今天
4
0
UEFI 模式下如何安装 Ubuntu 16.04

作者:知乎用户 链接:https://www.zhihu.com/question/52092661/answer/259583475 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 针对UEFI模式下安装U...

寻知者
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部