文档章节

sqoop 推数到MySQL问题

肥皂泡2
 肥皂泡2
发布于 2017/06/02 11:48
字数 126
阅读 10
收藏 0
点赞 0
评论 0

今天用户遇到一个奇怪的问题是,在开发推数任务时,日志里面报了一个 :

Error: java.lang.NullPointerException
at org.apache.sqoop.mapreduce.hcat.SqoopHCatExportHelper.convertToSqoopRecord(SqoopHCatExportHelper.java:130)

最后调试了半天,才发现是 源Hive表里的字段  938_dau,928_dau   以数字开头了,导致sqoop推数报错。 

1、遵循命名规范还是很有必要,可以少了很多奇怪的问题。

2、sqoop这个提示也不友好,不好定位问题,有时间提交一个issue

© 著作权归作者所有

共有 人打赏支持
肥皂泡2

肥皂泡2

粉丝 65
博文 139
码字总数 21416
作品 0
昌平
程序员
基于Hadoop生态圈的数据仓库实践 —— ETL(一)

一、使用Sqoop抽取数据 1. Sqoop简介 Sqoop是一个在Hadoop与结构化数据存储(如关系数据库)之间高效传输大批量数据的工具。它在2012年3月被成功孵化,现在已是Apache的顶级项目。Sqoop有Sqo...

wzy0623 ⋅ 2016/07/01 ⋅ 0

sqoop的安装与使用

Sqoop是一个转换工具,用于在关系型数据库与HDFS之间进行数据转换。强大功能见下图 以下操作就是使用sqoop在mysql和hdfs之间转换数据。 1.安装 我们使用的版本是sqoop-1.4.3.binhadoop-1.0...

lixiyuan ⋅ 2014/05/29 ⋅ 0

Sqoop介绍和使用(39)

Sqoop是一款开源的工具,主要用于Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递. Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数...

肖鋭 ⋅ 2014/04/11 ⋅ 0

hadoop、hive、sqoop安装备忘

由于各版本之间兼容问题 ,这里记下本次环境搭建遇到的各种问题。 版本: hadoop-2.6.0 hive-1..2.1 sqoop-1.99.7 简单说明一下,然后再记录各个模块的问题。 hadoop目前最新版是2.7.0,新特...

尚浩宇 ⋅ 2016/10/28 ⋅ 0

Sqoop常用操作

首先保证HDFS和HiveServer2正常运行,集群运行在debugo01,debugo02,debugo03三台主机上。 1. 准备mysql数据 在debugo03的MySQL中新建一个测试数据库,并建测试表employee_salary。 2. 安装s...

闪电 ⋅ 2016/07/28 ⋅ 0

京东大数据工程师教你怎样用Sqoop

Sqoop是什么 Sqoop:SQL-to-Hadoop 连接 传统关系型数据库 和 Hadoop 的桥梁 把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HBase 和 Hive) 中; 把数据从 Hadoop 系统里抽取并导出到关...

JAVA丶学习 ⋅ 04/16 ⋅ 0

Datax与hadoop2.x兼容部署与实际项目应用工作记录分享

一、概述 Hadoop的版本更新挺快的,已经到了2.4,但是其周边工具的更新速度还是比较慢的,一些旧的周边工具版本对hadoop2.x的兼容性做得还不完善,特别是sqoop。最近,在为hadoop2.2.0找适合...

zengzhaozheng ⋅ 2014/08/15 ⋅ 0

Installing Sqoop2 On Oracle Linux 7.4

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系...

candon123 ⋅ 2017/12/20 ⋅ 0

Sqoop1实现数据传递至HDFS和Hive中

1、sqoop在将mysql数据写入HDFS并关联hive时不需要提前在hive中建立对应表,sqoop将在hive中自动建立同名表。 2、参考命令参数地址: http://www.zihou.me/html/2014/01/28/9114.html http:/...

源子 ⋅ 2016/10/13 ⋅ 0

使用sqoop将数据从mysql同步到hbase

--- sqoop 数据同步 hbase --- 使用sqoop将数据从mysql同步到hbase知识点-HBase初体验知识点-愉快地通过Thrift访问HBase知识点-HBaseClient(Java) > 目前机器使用的sqoop版本 > sqoop1.4.6文...

知了小巷 ⋅ 2017/12/16 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Sqoop

1.Sqoop: 《=》 SQL to Hadoop 背景 1)场景:数据在RDBMS中,我们如何使用Hive或者Hadoop来进行数据分析呢? 1) RDBMS ==> Hadoop(广义) 2) Hadoop ==> RDBMS 2)原来可以通过MapReduce I...

GordonNemo ⋅ 34分钟前 ⋅ 0

全量构建和增量构建的区别

1.全量构建每次更新时都需要更新整个数据集,增量构建只对需要更新的时间范围进行更新,所以计算量会较小。 2.全量构建查询时不需要合并不同Segment,增量构建查询时需要合并不同Segment的结...

无精疯 ⋅ 45分钟前 ⋅ 0

如何将S/4HANA系统存储的图片文件用Java程序保存到本地

我在S/4HANA的事务码MM02里为Material维护图片文件作为附件: 通过如下简单的ABAP代码即可将图片文件的二进制内容读取出来: REPORT zgos_api.DATA ls_appl_object TYPE gos_s_obj.DA...

JerryWang_SAP ⋅ 今天 ⋅ 0

云计算的选择悖论如何对待?

导读 人们都希望在工作和生活中有所选择。但心理学家的调查研究表明,在多种选项中进行选择并不一定会使人们更快乐,甚至不会产生更好的决策。心理学家Barry Schwartz称之为“选择悖论”。云...

问题终结者 ⋅ 今天 ⋅ 0

637. Average of Levels in Binary Tree - LeetCode

Question 637. Average of Levels in Binary Tree Solution 思路:定义一个map,层数作为key,value保存每层的元素个数和所有元素的和,遍历这个树,把map里面填值,遍历结束后,再遍历这个map,把每...

yysue ⋅ 今天 ⋅ 0

IDEA配置和使用

版本控制 svn IDEA版本控制工具不能使用 VCS-->Enable Version Control Integration File-->Settings-->Plugins 搜索Subversion,勾选SVN和Git插件 删除.idea文件夹重新生成项目 安装SVN客户......

bithup ⋅ 今天 ⋅ 0

PE格式第三讲扩展,VA,RVA,FA的概念

作者:IBinary 出处:http://www.cnblogs.com/iBinary/ 版权所有,欢迎保留原文链接进行转载:) 一丶VA概念 VA (virtual Address) 虚拟地址的意思 ,比如随便打开一个PE,找下它的虚拟地址 这边...

simpower ⋅ 今天 ⋅ 0

180623-SpringBoot之logback配置文件

SpringBoot配置logback 项目的日志配置属于比较常见的case了,之前接触和使用的都是Spring结合xml的方式,引入几个依赖,然后写个 logback.xml 配置文件即可,那么在SpringBoot中可以怎么做?...

小灰灰Blog ⋅ 今天 ⋅ 0

冒泡排序

原理:比较两个相邻的元素,将值大的元素交换至右端。 思路:依次比较相邻的两个数,将小数放在前面,大数放在后面。即在第一趟:首先比较第1个和第2个数,将小数放前,大数放后。然后比较第...

人觉非常君 ⋅ 今天 ⋅ 0

Vagrant setup

安装软件 brew cask install virtualboxbrew cask install vagrant 创建project mkdir -p mst/vmcd mst/vmvagrant init hashicorp/precise64vagrant up hashicorp/precise64是一个box......

遥借东风 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部