文档章节

使用sqoop从mysql导入到hive基本操作

jcc_codingBoy
 jcc_codingBoy
发布于 2017/08/07 18:01
字数 285
阅读 26
收藏 0

1、编码基本设置

由于hdfs使用的是utf-8的编码格式,所以不管是从mysql导入,还是直接上传文件,编码格式必须是utf-8,否则就会出现乱码,所有有几个编码设置点要注意:

(1)、源数据mysql需要设置my.cnf配置文件  (不同版本可能设置不一样)    

   [client] 

 default-character-set=utf8  

 /*[mysqld]*/  

character-set-server=utf8 

(2)、源数据库(database编码确认设置)

    mysql> show variables like 'char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | utf8                       |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | utf8                       |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |

如果不是以上格式,使用该指令设置,变换不同参数即可:set character_set_server=utf8;

(3)读取源数据的jdbc连接加上utf-8编码

      sqoop import --connect jdbc:mysql://10.0.13.116:3306/test?characterEncoding=UTF-8   --username hive --password for3edc4rfv --table driver --delete-target-dir --hive-overwrite --fields-terminated-by "," --target-dir /apps/hive/warehouse/t_driver

(4)hive的jdbc连接也设置utf-8

   <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8</value>
    </property>

 

2、执行sqoop指令的权限

  由于sqoop需要操作hdfs,所以需要使用hdfs账号执行sqoop指令,否则要报无权限错误;

© 著作权归作者所有

共有 人打赏支持
jcc_codingBoy
粉丝 0
博文 23
码字总数 15914
作品 0
成都
程序员
私信 提问
sqoop导入数据到Base并同步hive与impala

使用Sqoop从MySQL导入数据到Hive和HBase 及近期感悟 基础环境 Sqool和Hive、HBase简介 测试Sqoop 使用Sqoop从MySQL导入数据到Hive 使用Sqoop从MySQL导入数据到HBase 关于Sqoop2 综上所述 其他...

hblt-j
07/20
0
0
sqoop 完成与关系型数据库的互导

一.安装SQOOP后可使用如下命令列出mysql数据库中的所有数据库,与检验是否安装成功。 # sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456 ...

gulf
06/26
0
0
sqoop实战(五)

1 Importing Data Directly into Hive 关系型数据库-----hive sqoop import --connect jdbc:mysql://192.168.130.221/sqoop --username root --password root --table tblplace --hive-impor......

发光体
2016/02/26
118
0
Sqoop架构以及应用介绍

本篇文章在具体介绍Sqoop之前,先给大家用一个流程图介绍Hadoop业务的开发流程以及Sqoop在业务当中的实际地位。 如上图所示:在实际的业务当中,我们首先对原始数据集通过MapReduce进行数据清...

a2011480169
2016/05/25
0
0
sqoop——sqoop1.x命令

mysql导入数据导hdfs -target-dir默认使用/user/${user}/,--和-的效果是一样的,--fields-terminated-by 't'字段间使用空格分隔,-m使用多少个map做导入操作。 列出mysql数据库中的所有数据...

cjun1990
2016/12/19
7
0

没有更多内容

加载失败,请刷新页面

加载更多

Deepin 安装wireshark抓包工具

一、关于deepin和wireshark deepin目前已经发展到15.8了,开发Android毫无压力,在四个月的使用时间里,已经非常习惯了。目前想处理一些网络问题,因此尝试在deepin上安装一个抓包工具。dee...

IamOkay
12分钟前
0
0
Docker镜像仓库服务-Nexus

建立云原生集群系统,建立自己的私有Docker镜像仓库必不可少。一方面可以加快多节点部署容器镜像的下载速度,另一方面是为了安全(容器里存储有系统所有的信息、包括密码、数据库等等,切记不...

openthings
23分钟前
1
0
127.0.0.1 和 0.0.0.0 地址的区别

1. IP地址分类 1.1 IP地址表示 IP地址由两个部分组成,net-id和host-id,即网络号和主机号。 net-id:表示ip地址所在的网络号。 host-id:表示ip地址所在网络中的某个主机号码。 即: IP-a...

华山猛男
今天
19
0
解决Unknown host 'd29vzk4ow07wi7.cloudfront.net'. You may need to adjust the proxy settings in Gradle.

把 总项目 下的 build.gradle 中的 两个 jcenter() 用 maven{ url ‘http://maven.aliyun.com/nexus/content/groups/public/’} 代替。...

lanyu96
今天
4
0
基于redis的分布式锁

redisson提供了基于redis的分布式锁实现方式,本文就尝试了下锁的使用方式。Redisson同时还为分布式锁提供了异步执行的相关方法,第二节执行介绍。 一、可重入锁验证 同一个jvm里面同一线程的...

noob_chr
今天
14
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部