文档章节

Hadoop Hive

manonline
 manonline
发布于 2017/07/23 19:58
字数 488
阅读 2
收藏 0
点赞 0
评论 0

Hive Service

Hive Shell/CLI, beeline, HiveServer2, Hive Web Interface, jar, metastore.

Hive Shell

The primary way to interact with Hive by issuing command in HiveQL.

  • %hive
  • hive> hiveql ...
  • %hive -f 'script'
  • %hive -e 'hiveql'

HiveServer2

Run hive as a server exposing a Thrift service, enabling access from a range of clients written in different languages.

Hadoop Cluster

FileSystem

A Hive table is logically made up of the data being stored and the associated metadata describing the layout of the data in the table.

Data resides in Hadoop filesystem, which includes local filesystem, S3 and HDFS.

Metadata is stored separately in a RDBMS, which is default to Derby

Execution Engine

  • hive.execution.engine=mapreduce, tez, spark;
  • MapReduce is the default. Both Tez and Spark are general DAG engine that provides more flexibility and higher performance than MapReduce.

Resource Manager

  • default to local job runner.
  • yarn.resourcemanager.address.

Metastore

The central repository of Hive metadata, which is divided into two pieces:

  • metadata service: by default, it's running in the same JVM as Hive
  • metadata store: by default, it uses embedded Derby database backed by the local disk, which only allows one user to connect at a time.

Configuration

Precedence hierarchy of configuring Hive

  • The Hive set command (hive>)
  • The command line -hiveconf option
  • hive-site.xml and Hadoop site files 
    • core-site.xml
    • hdfs-site.xml
    • mapred-site.xml
    • yarn-site.xml
  • Hive default and Hadoop default
    • core-default.xml
    • hdfs-default.xml
    • mapred-default.xml
    • yarn-default.xml

Table

Create Table

----- MANAGED TABLE -----
-- data is moved to Hive Warehouse
CREATE TABLE table_name (
    field1 type1,
    field2 type2,
    field3 type3,
    ...
)
----- EXTERNAL TABLE ----
-- data remain as is, and not moved
CREATE EXTERNAL TABLE table_name (
    field1 type1,
    field2 type2,
    field3 type3,
    ...
)
LOCALTION 'path'

----- STORAGE FORMAT ----
-- default : TEXTFILE, 
-- row based binary: AVRO, SEQUENCEFILE,
-- column based binary: PARQUET, RCFILE, ORCFILE
STORED AS TEXTFILE 

----- ROW FORMAT ------
-- only needed for TEXTFILE: DELIMINATED, SERDE
ROW FORMAT DELIMINATED
    FIELDS TERMINATED BY '\001'
    COLLECTION ITEMS TERMINATED BY '\002'
    MAP KEYS TERMINATED BY '\003'
    LINES TERMINATED BY '\n'

ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
 ....
)

----- STORAGE HANDLER -----
-- non-native storage, for example, HBase
STORED BY 

Load Data

----- LOAD DATA -----
LOAD DATA
LOCAL INPATH 'path to source file'
-- replace existing table
[OVERWRITE] 
-- copy file to $HIVE/warehouse/table_name/
INTO TABLE table_name

----- IMPORT DATA -----
-- at creation
CREATE TABLE target_table (...)
    AS
SELECT field1, field2 ...
  FROM source_table

-- post creation
INSERT [OVERWRITE] TABLE target_table
[PARTITION (dt=value)]
SELECT fiel1, field2 ...
  FROM source_table

-- one source to multiple targets
FROM source_table
INSERT [OVERWRITE] TABLE target_table1
SELECT ...
INSERT [OVERWRITE] TABLE target_table2
SELECT ...

Others

Partition and Bucket

A way of coarse-grained parts based on the value of a partition column, such as a date. Using partitions can make it faster to do queries on sliced data.

--
CREATE TABLE log (ts BIGINT, line STRING)
PARTITIONED BY (dt STRING, country STRING)

--
LOAD DATA 
LOCAL INPATH 'path to source'
INTO TABLE log
PARTITION (dt='2001-01-01', country='GB')

 

Query

Sorting and Aggregation, MapReduce Scripts, Subqueries, Views, Joins

  • Inner Joins
  • Outer Joins
  • Semi Joins
  • Map Joins

User Defined Function (UDF)

UDF and UDAF.

© 著作权归作者所有

共有 人打赏支持
manonline
粉丝 0
博文 73
码字总数 66740
作品 0
Hive Server的启动debug命令

CLI到了这一步就需要去连接Hive Server了,所以现在开始转向研究Hive Server的启动过程。 ======================================================= 先看shell里怎么启动Hive Server 那么启...

强子哥哥
2016/03/15
136
0
hive之执行shell脚本注解

#!/usr/bin/env bash # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for a......

skysky
2013/05/28
0
0
hive load 数据 报错

hive> load data local inpath '/usr/local/text.txt' overwrite into table pokes; Loading data to table default.pokes java.lang.NoSuchMethodError: org.apache.hadoop.hdfs.DFSClient.......

jiahc
2015/03/31
1K
2
hive 启动报错 无法识别元数据库

hive2.1.1版本,使用MySQL作为元数据库,元数据可以正常初始化,但是用./bin/hive启动时候报错 2017-07-21T11:23:59,477 INFO [main] conf.HiveConf: Found configuration file file:/data/s...

sparkman
2017/07/21
64
0
hive问题 could not create a validated object的解决方法

[hadoop@master hive_dat]$ hive Logging initialized using configuration in file:/app/hive/conf/hive-log4j.properties Hive history file=/tmp/hadoop/hive_job_log_hadoop_20121218121......

iceman_os
2014/09/15
0
0
hive集成mysql安装使用时的问题

@闵开慧 大神,您好,想跟您请教个问题:我在运行hive的时候,在验证hive是否配置成功的时候进行的步骤是输入show tables;然后就出现了以下的问题: hive> show tables; FAILED: Error in me...

小瑶瑶
2014/05/16
2.2K
2
Hive报错,NoSuchMethodError: org.apache.hadoop.mapred

hive能正常运行,当查到xiaoping数据库中的student表中的数据hive自动退出而报错信息如下。 应该是Hadoop和hive版本不兼容的问题,还有就是是hive版本高还是Apache和cdh不兼容,这两个原因都...

jiaohuanji88
2017/12/24
0
0
Hive 2.1.1安装配置

前期工作 安装JDK 安装Hadoop 安装MySQL *** 安装Hive 下载Hive安装包 可以从 Apache 其中一个镜像站点中下载最新稳定版的 Hive, apache-hive-2.1.1-bin.tar.gz。 解压安装Hive 使用以下命令...

JackieYeah
2016/08/20
7K
1
重新编译hive-exec 添加自定义函数

第一步 拷贝 hive-exec-1.1.0-cdh5.4.3.jar 1、登录master服务器 2、拷贝该jar到 /home/hadoop/jars目录 第二步 发送 hive-exec-1.1.0-cdh5.4.3.jar 到其他服务器 1、使用hadoop用户 scp /h...

祥林会跟你远走高飞
2015/09/06
178
0
hadoop的安装,主从设置及结合php的应用

最近又机会接触hadoop,顺便分享一下同事的记录 一、主服务器设置 1.创建用户 useradd hadoop 2.设置密码 passwd hadoop 3.切换hadoop登录 su - hadoop 4.解压hadoop压缩包 tar zxvf hadoop-...

bengozhong
2016/02/26
48
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

实现异步有哪些方法

有哪些方法可以实现异步呢? 方式一:java 线程池 示例: @Test public final void test_ThreadPool() throws InterruptedException { ScheduledThreadPoolExecutor scheduledThre......

黄威
今天
0
0
linux服务器修改mtu值优化cpu

一、jumbo frames 相关 1、什么是jumbo frames Jumbo frames 是指比标准Ethernet Frames长的frame,即比1518/1522 bit大的frames,Jumbo frame的大小是每个设备厂商规定的,不属于IEEE标准;...

六库科技
今天
0
0
牛客网刷题

1. 二维数组中的查找(难度:易) 题目描述 在一个二维数组中(每个一维数组的长度相同),每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序。请完成一个函数,输入...

大不了敲一辈子代码
今天
0
0
linux系统的任务计划、服务管理

linux任务计划cron 在linux下,有时候要在我们不在的时候执行一项命令,或启动一个脚本,可以使用任务计划cron功能。 任务计划要用crontab命令完成 选项: -u 指定某个用户,不加-u表示当前用...

黄昏残影
昨天
0
0
设计模式:单例模式

单例模式的定义是确保某个类在任何情况下都只有一个实例,并且需要提供一个全局的访问点供调用者访问该实例的一种模式。 实现以上模式基于以下必须遵守的两点: 1.构造方法私有化 2.提供一个...

人觉非常君
昨天
0
0
《Linux Perf Master》Edition 0.4 发布

在线阅读:https://riboseyim.gitbook.io/perf 在线阅读:https://www.gitbook.com/book/riboseyim/linux-perf-master/details 百度网盘【pdf、mobi、ePub】:https://pan.baidu.com/s/1C20T......

RiboseYim
昨天
1
0
conda 换源

https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mir......

阿豪boy
昨天
1
0
Confluence 6 安装补丁类文件

Atlassian 支持或者 Atlassian 缺陷修复小组可能针对有一些关键问题会提供补丁来解决这些问题,但是这些问题还没有放到下一个更新版本中。这些问题将会使用 Class 类文件同时在官方 Jira bug...

honeymose
昨天
0
0
非常实用的IDEA插件之总结

1、Alibaba Java Coding Guidelines 经过247天的持续研发,阿里巴巴于10月14日在杭州云栖大会上,正式发布众所期待的《阿里巴巴Java开发规约》扫描插件!该插件由阿里巴巴P3C项目组研发。P3C...

Gibbons
昨天
1
0
Tomcat介绍,安装jdk,安装tomcat,配置Tomcat监听80端口

Tomcat介绍 Tomcat是Apache软件基金会(Apache Software Foundation)的Jakarta项目中的一个核心项目,由Apache、Sun和其他一些公司及个人共同开发而成。 java程序写的网站用tomcat+jdk来运行...

TaoXu
昨天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部