文档章节

修改HDFS上的数据表流程

DDDDavid
 DDDDavid
发布于 2017/08/16 21:20
字数 442
阅读 1
收藏 0

dim_id是存储在HDFS上的一个数据维表,因为要修改数据,因此需要在堡垒机上直接修改文件。

过程稍微麻烦一些,以下是其记录:

1、  hive进入,查找表所在位置   show create table dim. dim _id;  文件夹地址为   hdfs://…/ dim _id

2、  显示文件  dfs –ls hdfs://…/ dim _id;   得到文件地址  hdfs://…/ dim _id/000000_0

3、  hive退出,exit;

4、  终端下载文件 hadoop fs –get hdfs://…/000000_0

5、  堡垒机下载文件 sz 000000_0,选文件位置

6、  使用notepad编辑文件,要注意使用 视图,显示符号,显示所有字符,防止编辑中出现问题

7、  编辑完成后,保存文件

8、  删除终端本地文件,rm 000000_0

9、  删除HDFS上文件 hadoop fs –get hdfs://…/000000_0

10、              使用堡垒机上传新文件, rz 选择文件

11、              上传新文件至HDFS  hadoop fs –put 000000_0 hdfs://…/000000_0

12、              删除终端本地文件,rm 000000_0

13、              hive进去,查看表文件 select * from dim. dim_jd_analytics_site_id;

 

注意事项:上传文件之前必须先删除原来的文件,否则会失败

 

5至10步可以替换为使用vi编辑器修改文件。

 

需要使用的语句

1、  hive语句,show create table XXX;select * from XXX;

2、  hadoop语句,终端下

hadoop fs -get path/file  下载文件

hadoop fs -rm patn/file  删除文件

hadoop fs –put new_file path/file_name  上传文件

3、  Xshell终端语句,终端环境下

sz path/file_name 下载文件

rm path/file_name 删除文件

rz path/file_name 上传文件

 

关于hadoop的fs语句:

高度类似Linux文件系统命令集,写法是 hadoop fs [genericOptions]

其中<path>的完整格式是hdfs://NameNodeIP:port/  或者是/user/你的用户名

© 著作权归作者所有

共有 人打赏支持
DDDDavid
粉丝 0
博文 6
码字总数 3947
作品 0
东城
程序员
私信 提问
数据仓库Hive管理软件--phpHiveAdmin

这是一个由php编写的hadoop hive查询工具,可以方便的查询hive中的数据和相关信息。本软件遵循GPL3许可协议 下载当前版本,请访问phpHiveAdmin @ github.com获取最新源码 EasyHadoop。访问w...

Slaytanic
2012/02/19
5.1K
0
Apache Hawq功能测试脚本

一. TPC-H编译 1.下载工具TPC-H 下载地址 2. 拷贝生成makefile,并修改makefile 修改makefile 3.编译 4.生成数据 5.创建数据库以及相关表格语句 6.查询语句在queries目录下 22个 二、创建表空...

Lynn_Yuan
2018/08/16
0
0
2017-5-12 工作总结

5月12日 1、创建修改完善数据表 2、根据数据表设计接口参数和执行流程 3、面试了一下午 4、制作了一套面试题

vomou
2017/05/12
0
0
关于驰骋工作流程引擎5流程数据存储模式

数据存储模式 CCFlow把流程数据模式分为两种:轨迹模式与合并模式。 什么是轨迹模式? 如果您了解ccflow4版本中您创建一个节点ccflow就会创建一个表与此节点相对应,此节点上的数据采集都记录...

ccflow
2013/02/14
0
0
科学大数据开源社区/事例数据库-EventDB

eventdb 面向高能物理的大数据管理系统 环境依赖 分析dst文件需要Root环境依赖 解决python依赖:pip install happybase ConfigParser optparse pydoop java依赖通过maven解决,工程根目录运行...

科学大数据开源社区
2017/10/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

mybaties中通用mapper的基本使用

使用Mybatis的开发者,大多数都会遇到一个问题,就是要写大量的SQL在xml文件中,除了特殊的业务逻辑SQL之外,还有大量结构类似的增删改查SQL。而且,当数据库表结构改动时,对应的所有SQL以及...

嘴角轻扬30
17分钟前
0
0
都996了,研发效能还是提不起来,关键在这里

上一篇我们介绍了研发效能提升目标及其度量方法。(本文是阿里“研发效能提升系列”的第2篇,第1篇“研发效能的定义和度量”敬请期待【下周三】的钉钉群直播:钉钉搜索群号 23192180) 研发效...

zhaowei121
17分钟前
0
0
阿里重磅开源首款自研科学计算引擎Mars,揭秘超大规模科学计算

日前,阿里巴巴正式对外发布了分布式科学计算引擎 Mars 的开源代码地址,开发者们可以在pypi上自主下载安装,或在Github上获取源代码并参与开发。 此前,早在2018年9月的杭州云栖大会上,阿里...

阿里云云栖社区
20分钟前
0
0
大牛是怎么思考设计SQL优化方案的?

在进行MySQL的优化之前,必须要了解的就是MySQL的查询过程,很多查询优化工作实际上就是遵循一些原则,让MySQL的优化器能够按照预想的合理方式运行而已。 图-MySQL查询过程 一、优化的哲学 ...

Java填坑路
28分钟前
0
0
docker1.7 Error: Path not specified 错误

在centos6.1上,用yum命令安装的docker版本是1.7 。在拷贝文件的时候报 Error: Path not specified错误。 错误消息“错误:路径未指定” 在docker1.8.0中已修复。 修复方法: 直接下载1.9.1...

applepaihs
29分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部