文档章节

shell定时执行hive脚本文件

xpttxsok
 xpttxsok
发布于 2017/07/19 08:27
字数 159
阅读 55
收藏 0
#! /bin/bash
###############################
# 调用格式
# 脚本名称 [yyyymmdd]
# 日期参数可选,默认是系统日期-1
##############################

dt=''
table=test001

#获取系统当前时间
sysdate=`date +%Y%m%d`

##获取昨天的时间
yesterday=`date -d yesterday +%Y%m%d`

##数据文件地址
file_path=/usr/local/devTools/hive/data/


if [ $# -eq 1 ]; then
    dt=$1
elif [ $# -eq 0 ]; then
    dt=${yesterday}
else
    echo '非法参数'
exit 1
fi


filename=${file_path}${table}'_'$dt'.txt'
if [ ! -e ${filename} ];then
    echo ${filename}'文件不存在'
    exit 1
fi


hive<<EOF
load data local inpath '${filename}' overwrite into table default.${table}
EOF
if [ $? -eq 0 ]; then
  echo $dt "${table}加载成功!"
else
  echo "${table} 加载时报"
fi

 

© 著作权归作者所有

共有 人打赏支持
下一篇: nginx博客
xpttxsok
粉丝 7
博文 180
码字总数 106882
作品 0
徐汇
程序员
私信 提问
【大数据安全】Apache Kylin 安全配置(Kerberos)

1. 概述 本文首先会简单介绍Kylin的安装配置,然后介绍启用Kerberos的CDH集群中如何部署及使用Kylin。 Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维...

mantoudev
2018/09/19
0
0
hive产生很多.staging_hive文件

在使用spark-streaming的时候,调用了spark-sql,会执行hive语句,这个时候在hive的目录下回产生很多.staginghive文件,而且是操作哪个表,就在哪个表中产生。hive也会产生.staginghive,但是...

cjun1990
2016/12/06
296
0
azkaban使用教程

登录 https://localhost:8443 注意是https,采用的是jetty ssl链接。输入账号密码azkaban/azkanban(如果你之前没有更改的话) 首页有四个菜单 projects:最重要的部分,创建一个工程,所有f...

张欢19933
2016/11/23
383
0
crontab 执行环境变量的问题

记录一下一个折磨我N天的crontab的问题 问题是这样的 我写了个php脚本run.php ,脚本里面调用了一下hive命令(hadoop相关的东西)生成hive_result.txt,同时在hive命令执行前和执行后都会用php...

loveczp
2013/12/17
4.6K
3
Hive结合shell脚本实现自动化业务

【案例】hive脚本加载数据到hive分区表 access_logs/20170610/2017061000.log 2017061001.log 2017061002.log ...... 2017061023.log 二级分区:天/小时 crontab+shell 实现自动调度。 建库:...

weixin_40652340
2017/12/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

大数据教程(11.9)hive操作基础知识

上一篇博客分享了hive的简介和初体验,本节博主将继续分享一些hive的操作的基础知识。 DDL操作 (1)创建表 #建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name ...

em_aaron
今天
2
0
OSChina 周四乱弹 —— 我家猫真会后空翻

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @我没有抓狂 :#今天听这个# 我艇牛逼,百听不厌,太好听辣 分享 Led Zeppelin 的歌曲《Stairway To Heaven》 《Stairway To Heaven》- Led Z...

小小编辑
今天
3
0
node调用dll

先安装python2.7 安装node-gyp cnpm install node-gyp -g 新建一个Electron-vue项目(案例用Electron-vue) vue init simulatedgreg/electron-vue my-project 安装electron-rebuild cnpm ins......

Chason-洪
今天
3
0
scala学习(一)

学习Spark之前需要学习Scala。 参考学习的书籍:快学Scala

柠檬果过
今天
3
0
通俗易懂解释网络工程中的技术,如STP,HSRP等

导读 在面试时,比如被问到HSRP的主备切换时间时多久,STP几个状态的停留时间,自己知道有这些东西,但在工作中不会经常用到,就老是记不住,觉得可能还是自己基础不够牢固,知识掌握不够全面...

问题终结者
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部