文档章节

日常数据文件自动入hive数据库

卖小孩的小火柴
 卖小孩的小火柴
发布于 2016/03/22 14:53
字数 125
阅读 62
收藏 0

1.hive建表

create EXTERNAL table IF NOT EXISTS  exttable_map_mdn_city
(
sdate string,
mdn string,
province string,
city string,
times int
)
partitioned by (dt string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' location '/user/noc/private/exttable_map_mdn_city/';
hive -e "use noc_dpi;alter table exttable_map_mdn_city add partition (dt='$lastday') location '/user/noc/private/ext_tables/exttable_map_mdn_city/$lastday' "

2. hive中文只支持UTF-8编码

iconv   -f gbk -t utf-8<mpm_tot_$lastday.txt>mpm_tot_$lastday.dat
rm mpm_tot_$lastday.txt
mv mpm_tot_$lastday.dat mpm_tot_$lastday.txt

3.文件入库

hadoop fs -put mpm_tot_201601$i.txt /user/noc/private/ext_tables/exttable_map_mdn_city/$lastday
ls mpm_tot_$lastday.txt
hadoop fs -du /user/noc/private/ext_tables/exttable_map_mdn_city/20160131

© 著作权归作者所有

卖小孩的小火柴
粉丝 5
博文 111
码字总数 43021
作品 0
南京
高级程序员
私信 提问
sqoop导入数据到Base并同步hive与impala

使用Sqoop从MySQL导入数据到Hive和HBase 及近期感悟 基础环境 Sqool和Hive、HBase简介 测试Sqoop 使用Sqoop从MySQL导入数据到Hive 使用Sqoop从MySQL导入数据到HBase 关于Sqoop2 综上所述 其他...

hblt-j
2018/07/20
0
0
sqoop 完成与关系型数据库的互导

一.安装SQOOP后可使用如下命令列出mysql数据库中的所有数据库,与检验是否安装成功。 # sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456 ...

gulf
2018/06/26
0
0
将Hive的默认数据库Derby改为Postgresql

Hive的默认数据库为Derby,这个数据库用于自己调试是可以的,但是要面对大量数据就有些力不从心了,所以接下来我要将Derby换为Postgresql,我会具体说一下在更换过程中需要注意的地方。 首先...

sucre
2015/01/09
0
2
Impala和Hive集成Sentry、Kerberos认证

关于 Kerberos 的安装和 HDFS 配置 kerberos 认证,请参考 HDFS配置kerberos认证。 关于 Kerberos 的安装和 YARN 配置 kerberos 认证,请参考 YARN配置kerberos认证。 关于 Kerberos 的安装和...

hblt-j
2018/12/13
0
0
Hadoop平台调度系统

1.概述   在Hadoop应用,随着业务指标的迭代,而使其日趋复杂化的时候,管理Hadoop的相关应用会变成一件头疼的事情,如:作业的依赖调度,任务的运行情况的监控,异常问题的排查等,这些问...

jackwxh
2017/03/03
0
0

没有更多内容

加载失败,请刷新页面

加载更多

宜信开源|一个实例解析PaaS平台LAIN的9大杀手级功能

一、基于Docker的PaaS平台LAIN 在金融的场景下,LAIN 是为解放各个团队和业务线的生产力而设计的一个云平台。LAIN 正式上线已经大约两年,基本已经成熟,为宜信大数据创新中心各个团队提供了...

宜信技术学院
1分钟前
0
0
DBeaver调整编辑窗口字体大小

窗口-->首选项: 点击“编辑”之后,字体大小设为11的大小即比较合适。

BG2KNT
8分钟前
0
0
【Kubernetes社区之路】Slack沟通工具简介

什么是Slack Slack(https://slack.com) 是一款沟通工具,它与国内常见的微信、微博、QQ、钉钉有很大的不同,Slack主要用于工作讨论,可以让讨论更加高效。 Slack的口号便是让工作变得简单、...

恋恋美食
20分钟前
1
0
Visual Paradigm 教程[UML]:如何在SoaML中建模多方服务?

下载Visual Paradigm最新试用版 编写本教程是为了解释多方服务在SoaML方面的含义以及如何使用各种SoaML图表指定此类服务Visual Paradigm。 本教程中将使用的示例是通过在线银行账户纳税。您将...

xiaochuachua
21分钟前
0
0
SpringMVC 的Controller方法声明为private 或者 public 有什么区别

平常没有区别,都能正常处理请求。只有在使用AOP时会有问题: Controller方法声明为private时会出现获取到的注入service属性为null的问题,public方法才能正常获取注入的service。 原因如下:...

为了美好的明天
23分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部