文档章节

spark-sql中数据类型比较(double vs decimal)

E
 Eric_Guan
发布于 2017/04/26 14:47
字数 145
阅读 159
收藏 0

1、创建表,数据类型是double和decimal

create external table tmp.tmp_test(
amt1 double,
amt3 decimal(20,8)
)
STORED AS parquet
location 'hdfs://reh/user/hive/dev/tmp_dev/tmp_test';

2、测试数据为“111111.1232”,查询显示正常:

spark-sql> insert overwrite table tmp.tmp_test
> select 111111.1232 as amt1,111111.1232 as amt3 from test limit 1;
Time taken: 22.219 seconds 
spark-sql> select * from tmp.tmp_test;
111111.1232 111111.1232
Time taken: 0.269 seconds, Fetched 1 row(s)

3、测试数据为“11111111.12”,查询显示异常(科学计数法):

spark-sql> insert overwrite table tmp.tmp_test
> select 11111111.12 as amt1,11111111.12 as amt3 from dtp.dtp_company_staff_deal_flow where dt = '2017-04-25' limit 1;
Time taken: 24.505 seconds 
spark-sql> select * from tmp.tmp_test;
1.111111112E7 11111111.12
Time taken: 5.769 seconds, Fetched 1 row(s)

© 著作权归作者所有

E
粉丝 2
博文 25
码字总数 14717
作品 0
朝阳
私信 提问
利用Spark实现Oracle到Hive的历史数据同步

我的原创地址:https://dongkelun.com/2018/08/27/sparkOracle2Hive/ 1、需求背景 和上一篇文章Spark通过修改DataFrame的schema给表字段添加注释一样,通过Spark将关系型数据库(以Oracle为例...

董可伦
2018/11/16
0
0
Apache Spark 2.4 正式发布,重要功能详细介绍

美国时间 2018年11月08日 正式发布了。一如既往,为了继续实现 Spark 更快,更轻松,更智能的目标,Spark 2.4 带来了许多新功能,如下: 添加一种支持屏障模式(barrier mode)的调度器,以便...

Spark
2018/11/10
0
0
Apache Spark 2.4 内置的 Avro 数据源介绍

Apache Avro 是一种流行的数据序列化格式。它广泛用于 Apache Spark 和 Apache Hadoop 生态系统,尤其适用于基于 Kafka 的数据管道。从 Apache Spark 2.4 版本开始,Spark 为读取和写入 Avro...

Spark
2018/12/11
0
0
Apache Avro as a Built-in Data Source in Apache Spark 2.4

Apache Avro 是一种流行的数据序列化格式。它广泛用于 Apache Spark 和 Apache Hadoop 生态系统,尤其适用于基于 Kafka 的数据管道。从 Apache Spark 2.4 版本开始(参见 Apache Spark 2.4 正...

开源大数据EMR
04/12
0
0
【译】Apache Spark 2.4内置数据源Apache Avro

原文链接: Apache Avro as a Built-in Data Source in Apache Spark 2.4 Apache Avro 是一种流行的数据序列化格式。它广泛使用于 Apache Spark 和 Apache Hadoop 生态中,尤其适用于基于 Ka...

开源大数据
2018/12/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

mysql-connector-java升级到8.0后保存时间到数据库出现了时差

在一个新项目中用到了新版的mysql jdbc 驱动 <dependency>     <groupId>mysql</groupId>     <artifactId>mysql-connector-java</artifactId>     <version>8.0.18</version> ......

ValSong
50分钟前
5
0
Spring Boot 如何部署到 Linux 中的服务

打包完成后的 Spring Boot 程序如何部署到 Linux 上的服务? 你可以参考官方的有关部署 Spring Boot 为 Linux 服务的文档。 文档链接如下: https://docs.ossez.com/spring-boot-docs/docs/r...

honeymoose
52分钟前
5
0
Spring Boot 2 实战:使用 Spring Boot Admin 监控你的应用

1. 前言 生产上对 Web 应用 的监控是十分必要的。我们可以近乎实时来对应用的健康、性能等其他指标进行监控来及时应对一些突发情况。避免一些故障的发生。对于 Spring Boot 应用来说我们可以...

码农小胖哥
今天
6
0
ZetCode 教程翻译计划正式启动 | ApacheCN

原文:ZetCode 协议:CC BY-NC-SA 4.0 欢迎任何人参与和完善:一个人可以走的很快,但是一群人却可以走的更远。 ApacheCN 学习资源 贡献指南 本项目需要校对,欢迎大家提交 Pull Request。 ...

ApacheCN_飞龙
今天
4
0
CSS定位

CSS定位 relative相对定位 absolute绝对定位 fixed和sticky及zIndex relative相对定位 position特性:css position属性用于指定一个元素在文档中的定位方式。top、right、bottom、left属性则...

studywin
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部