文档章节

csv导入Hive脚本

gulf
 gulf
发布于 07/21 17:10
字数 238
阅读 38
收藏 1
from pyspark.sql import HiveContext

hivec  = HiveContext(sc)  # 创建一个hivecontext对象用于写执行SQL,sc为sparkcontext

# 拼接一个字段类型字符串
str_s = 'label String,'
for i in range(len(df.columns)-1):
    str_s += 'pixel%s String,' % i
# 拼接SQL语句
sql_str = "create table ml_test.decivsion ({})".format(str_s[:-1])  # 最后一个逗号需要去掉,否则报错

hivec.sql(sql_str)  # 执行SQL

df = spark.read.csv(your hdfs path)  # 把csv读成dataframe,第一个参数为path
## 其他参数
# schema – an optional pyspark.sql.types.StructType for the input schema.
# header:默认值是false。就是把第一行当做数据,改为false,第一行就变为字段;
# sep:默认情况下,CSV是使用英文逗号分隔的,其他分隔符号可修改此选项;
# 更多参数请查阅官方文档
 
df.write.insertInto('ml_test.decivsion', overwrite=False)  # 将dataframe写入到指定hive表

 

© 著作权归作者所有

共有 人打赏支持
gulf
粉丝 12
博文 276
码字总数 156468
作品 0
广州
程序员
Exchange 用户归档邮件导入导出PST操作实例

分享一个之前做过的Exchange邮箱数据文件的导入导出操作示例。目录内容如下: 目录 第一步 新建一个Exchange角色组并将其添加到Mailbox Import Export 管理角色中... 4 第二步 创建共享文件夹...

jialt
2017/08/03
0
0
Hive 数据模型

Hive 数据模型 Hive 数据表有五种类型:内部表,外部表,分区表,桶表,视图表,默认以 tab 分隔 * MySQL (Oracle) 表默认以逗号分隔,因此,要想导入 MySQL(Oracle) 数据,需要设置分隔符,...

菜鸟的征程
01/07
0
0
Centos7安装hive

所需软件及下载地址1、mysql或mariadbmysql下载地址https://dev.mysql.com/downloads/mysql/5.5.html#downloads或用mariadb也可以,直接yum安装yum -y install mariadb-server2、hivehttp://......

天涯有梦
2017/12/11
0
0
Hybris商品图片导入与压缩有关的配置

1. 在电脑上安装 ImageMagick 软件(windows平台还需要安装VC++),下载路径:http://www.imagemagick.org/script/download.php#windows 在local.properies文件配置安装路径和配置文件路径:...

jmcui
2017/07/25
0
0
批量导入Exchange邮箱用户头像

1、首先,我们像批量开启帐号的方法一样,利用CSV文件编辑好要配置邮箱头像的帐号,如下图所示: 2、接着呢,我们将对应员工照片放入对应存放路径,如下图所示: 3、制作PowerShell脚本,以实...

Juck_Zhang
01/11
0
0

没有更多内容

加载失败,请刷新页面

加载更多

使用JDK自带的jmap和jhat监控处于运行状态的Java进程

对于处于运行状态中的Java进程,JDK自带了很多工具,允许Java开发人员监控运行进程中的各种状态,比如该进程内部创建了多少个对象实例,消耗了多少内存,等等。 本文基于JDK1.8而写成。 我下...

JerryWang_SAP
17分钟前
1
0
下单接口调优实战,性能提高10倍

概述 最近公司的下单接口有些慢,老板担心无法支撑双11,想让我优化一把,但是前提是不允许大改,因为下单接口太复杂了,如果改动太大,怕有风险。另外开发成本和测试成本也非常大。对于这种...

Sam哥哥聊技术
49分钟前
4
1
rabbitMQ的安装和配置

在Windows下进行rabbitMQ的安装 第一步:软件下载 在安装rabbitMQ之前,需要先安装Erlang。 Erlang官网:http://www.erlang.org/downloads rabbitMQ官网:http://www.rabbitmq.com/download....

狼王黄师傅
今天
3
0
Vue-Element-Upload

记录一下文件上传封装Js 代码示例 封装:uploadFile.vue <template> <el-upload v-model="attachment" ref="upload" class="upload-demo" :action="uploadUrl" ......

华山猛男
今天
4
0
AWVS破解及使用手册

1.安装 因为是windows软件,比较简单,此部分略: 破解插件下载: 链接: https://pan.baidu.com/s/1x9LK9F3KvqDgTvXDjoSZnQ 提取码: 7k4u 2.创建扫描目标 2-1.Targets->Add Target 2-2.对话框...

硅谷课堂
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部