文档章节

shell定时执行hive脚本文件

xpttxsok
 xpttxsok
发布于 2017/07/19 08:27
字数 159
阅读 27
收藏 0
#! /bin/bash
###############################
# 调用格式
# 脚本名称 [yyyymmdd]
# 日期参数可选,默认是系统日期-1
##############################

dt=''
table=test001

#获取系统当前时间
sysdate=`date +%Y%m%d`

##获取昨天的时间
yesterday=`date -d yesterday +%Y%m%d`

##数据文件地址
file_path=/usr/local/devTools/hive/data/


if [ $# -eq 1 ]; then
    dt=$1
elif [ $# -eq 0 ]; then
    dt=${yesterday}
else
    echo '非法参数'
exit 1
fi


filename=${file_path}${table}'_'$dt'.txt'
if [ ! -e ${filename} ];then
    echo ${filename}'文件不存在'
    exit 1
fi


hive<<EOF
load data local inpath '${filename}' overwrite into table default.${table}
EOF
if [ $? -eq 0 ]; then
  echo $dt "${table}加载成功!"
else
  echo "${table} 加载时报"
fi

 

© 著作权归作者所有

共有 人打赏支持
xpttxsok
粉丝 6
博文 177
码字总数 105473
作品 0
徐汇
程序员
【大数据安全】Apache Kylin 安全配置(Kerberos)

1. 概述 本文首先会简单介绍Kylin的安装配置,然后介绍启用Kerberos的CDH集群中如何部署及使用Kylin。 Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维...

mantoudev
09/19
0
0
hive产生很多.staging_hive文件

在使用spark-streaming的时候,调用了spark-sql,会执行hive语句,这个时候在hive的目录下回产生很多.staginghive文件,而且是操作哪个表,就在哪个表中产生。hive也会产生.staginghive,但是...

cjun1990
2016/12/06
296
0
azkaban使用教程

登录 https://localhost:8443 注意是https,采用的是jetty ssl链接。输入账号密码azkaban/azkanban(如果你之前没有更改的话) 首页有四个菜单 projects:最重要的部分,创建一个工程,所有f...

张欢19933
2016/11/23
383
0
基于论坛的apachecommon日志分析项目开发步骤

项目描述 通过对技术论坛的apache common日志进行分析,计算论坛关键指标,供运营者决策。 项目设计 MapReduce程序计算KPI HBASE详单查询 HIVE数据仓库多维分析 开发步骤: 使用flume把日志数...

On the Way
2017/12/13
0
0
Hive结合shell脚本实现自动化业务

【案例】hive脚本加载数据到hive分区表 access_logs/20170610/2017061000.log 2017061001.log 2017061002.log ...... 2017061023.log 二级分区:天/小时 crontab+shell 实现自动调度。 建库:...

weixin_40652340
2017/12/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Coding and Paper Letter(三十九)

资源整理。 1 Coding: 1.Python库benchmark rio s3,用于在访问S3上的文件时对Rasterio / GDAL的多线程性能进行基准测试的工具。 benchmark rio s3 2.Pangeo-Binder Cookiecutter模板。 cook...

胖胖雕
20分钟前
0
0
Promise 对象

Promise(承诺) 的含义 Promise 是异步编程的一种解决方案,比传统的解决方案——回调函数和事件——更合理和更强大。它由社区最早提出和实现,ES6 将其写进了语言标准,统一了用法,原生提供...

简心
23分钟前
0
0
让UI设计师崩溃的瞬间,你经历过哪些?

隔行如隔山,这句话人人耳熟能详,但其实隔行并不可怕,大家各谋其事,各尽其职,倒也互不打扰,真正可怕的是,是内行还要受外行指点江山,而最难的部分,便是那沟通。流畅的沟通,和声细语,...

mo311
24分钟前
0
0
python进制转换

#进制转换print(bin(10)) #十进制转换成二进制print(oct(10)) #十进制转换成八进制print(hex(10)) #十进制转换成十六进制print(int('1010',2)) #二进制转十进制print(int(...

fadsaa
35分钟前
3
0
syntax error near unexpected token

最近不断重复在虚拟机CentOS测试安装gitlab,因为gitlab有一个脚本需要饭强才能下载,于是我先在windows下载好再上传到虚拟机,可是执行脚本的时候提示“syntax error near unexpected toke...

W_Lu
45分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部