文档章节

shell定时执行hive脚本文件

xpttxsok
 xpttxsok
发布于 2017/07/19 08:27
字数 159
阅读 319
收藏 0
#! /bin/bash
###############################
# 调用格式
# 脚本名称 [yyyymmdd]
# 日期参数可选,默认是系统日期-1
##############################

dt=''
table=test001

#获取系统当前时间
sysdate=`date +%Y%m%d`

##获取昨天的时间
yesterday=`date -d yesterday +%Y%m%d`

##数据文件地址
file_path=/usr/local/devTools/hive/data/


if [ $# -eq 1 ]; then
    dt=$1
elif [ $# -eq 0 ]; then
    dt=${yesterday}
else
    echo '非法参数'
exit 1
fi


filename=${file_path}${table}'_'$dt'.txt'
if [ ! -e ${filename} ];then
    echo ${filename}'文件不存在'
    exit 1
fi


hive<<EOF
load data local inpath '${filename}' overwrite into table default.${table}
EOF
if [ $? -eq 0 ]; then
  echo $dt "${table}加载成功!"
else
  echo "${table} 加载时报"
fi

 

© 著作权归作者所有

下一篇: nginx博客
xpttxsok
粉丝 7
博文 182
码字总数 107935
作品 0
徐汇
程序员
私信 提问
【大数据安全】Apache Kylin 安全配置(Kerberos)

1. 概述 本文首先会简单介绍Kylin的安装配置,然后介绍启用Kerberos的CDH集群中如何部署及使用Kylin。 Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维...

mantoudev
2018/09/19
0
0
hive产生很多.staging_hive文件

在使用spark-streaming的时候,调用了spark-sql,会执行hive语句,这个时候在hive的目录下回产生很多.staginghive文件,而且是操作哪个表,就在哪个表中产生。hive也会产生.staginghive,但是...

cjun1990
2016/12/06
1K
0
azkaban使用教程

登录 https://localhost:8443 注意是https,采用的是jetty ssl链接。输入账号密码azkaban/azkanban(如果你之前没有更改的话) 首页有四个菜单 projects:最重要的部分,创建一个工程,所有f...

张欢19933
2016/11/23
1K
0
crontab 执行环境变量的问题

记录一下一个折磨我N天的crontab的问题 问题是这样的 我写了个php脚本run.php ,脚本里面调用了一下hive命令(hadoop相关的东西)生成hive_result.txt,同时在hive命令执行前和执行后都会用php...

loveczp
2013/12/17
5.4K
3
Hive结合shell脚本实现自动化业务

【案例】hive脚本加载数据到hive分区表 access_logs/20170610/2017061000.log 2017061001.log 2017061002.log ...... 2017061023.log 二级分区:天/小时 crontab+shell 实现自动调度。 建库:...

weixin_40652340
2017/12/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二)

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二) List 类型的操作 1、 向列表左侧添加数据 Long leftPush = redisTemplate.opsForList().leftPush("name", name); 2、 向列表右......

TcWong
今天
5
0
排序––快速排序(二)

根据排序––快速排序(一)的描述,现准备写一个快速排序的主体框架: 1、首先需要设置一个枢轴元素即setPivot(int i); 2、然后需要与枢轴元素进行比较即int comparePivot(int j); 3、最后...

FAT_mt
昨天
4
0
mysql概览

学习知识,首先要有一个总体的认识。以下为mysql概览 1-架构图 2-Detail csdn |简书 | 头条 | SegmentFault 思否 | 掘金 | 开源中国 |

程序员深夜写bug
昨天
10
0
golang微服务框架go-micro 入门笔记2.2 micro工具之微应用利器micro web

micro web micro 功能非常强大,本文将详细阐述micro web 命令行的功能 阅读本文前你可能需要进行如下知识储备 golang分布式微服务框架go-micro 入门笔记1:搭建go-micro环境, golang微服务框架...

非正式解决方案
昨天
8
0
前端——使用base64编码在页面嵌入图片

因为页面中插入一个图片都要写明图片的路径——相对路径或者绝对路径。而除了具体的网站图片的图片地址,如果是在自己电脑文件夹里的图片,当我们的HTML文件在别人电脑上打开的时候图片则由于...

被毒打的程序猿
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部