加载中
SparkSQL错误:Could not find uri with key [dfs.encryption.key.provider.uri] to create a keyProvider

##问题背景 在终端运行 spark-sql 命令,创建一张表,然后使用 LOAD DATA LOCAL INPATH 语法将本地文件中的数据加载到表中,虽然数据能够成功加载进去,但还是提示以下错误: ##问题分析 本地...

2017/04/07 19:30
3.5K
Hive异常"Metastore contains multiple versions"

##问题背景 Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程。我们公司大数据集群的作业调度使用的就是 Azkaban。有同事...

2017/04/07 15:05
48
org.apache.thrift.TApplicationException: Required field 'client_protocol' is unset!

##问题描述 使用 Hive JDBC 连接 Hive Metastore 报以下错误: ##原因分析 Hive JDBC 版本和 Hive 版本不一致导致的,集群中使用的 Hive 版本是 0.12.0-cdh5.0.2, 但是 Hive JDBC 的版本却是...

2016/09/20 22:43
413
【Spark 2.0官方文档】Spark SQL、DataFrames以及Datasets指南

#文档说明 本文是基于《Spark 官方文档》Spark SQL, DataFrames 以及 Datasets 编程指南 这篇文章翻译而来。 原文中关于R语言的部分本文档全都省略。 由于个人水平有限,有些地方难免翻译的不...

2016/09/11 01:17
2.8K
spring-data-hadoop与HBase结合示例

Spring for Apache Hadoop简化了开发使用了HDFS, MapReduce, Pig 以及 Hive 等 Apache Hadoop 生态技术的应用程序的过程,它提供了一个统一的配置模型和易于使用的API。本文使用一个简单的示...

2016/09/09 23:51
2.7K
Hive 2.1.1字段和表注释中文乱码

##问题背景 一般我们创建 Hive 表时都需要给表和字段加上注释以便理解表的用途与字段的含义。但是往往在创建 Hive 表后查看表结构发现中文注释乱码,比较头疼。本文总结了一下针对这种情况的...

2016/09/04 11:28
5.2K
Hive 2.1.1安装配置

##前期工作 安装JDK 安装Hadoop 安装MySQL ##安装Hive ###下载Hive安装包 可以从 Apache 其中一个镜像站点中下载最新稳定版的 Hive, apache-hive-2.1.1-bin.tar.gz。 解压安装Hive 使用以下命...

2016/08/20 12:11
8.7K
Linux查看磁盘空间

##df命令 使用 df -h 命令可以查看磁盘各分区大小、已使用空间以及挂载点等信息. ##du命令 使用 du 命令可以查看某个目录所占用的磁盘空间大小。常见的用法是: du -sh folder....

2016/08/02 20:25
66
SSH无密码访问服务器

##ssh-keygen命令创建公钥私钥对 在终端输入以下命令: ssh-keygen -t rsa 一路回车, 这样就会创建一个公钥私钥对 ##ssh-copy-id命令将公钥传到远程服务器 在终端输入以下命令: ssh-copy-id...

2016/08/01 19:45
47
使用Maven filter和profile隔离不同环境的配置文件

##背景 在日常的项目开发过程中, 会有很多的配置文件, 而项目对应有多套环境(开发、测试、预发布、生产), 不同的环境使用的配置属性又不一样, 比如数据库连接属性、服务器日志文件路径、缓存...

HBase全分布式模式的安装和配置

HBase – Hadoop Database, 是一个高可靠性的、高性能的、可伸缩的、面向列存储的开源分布式存储系统。在前文《HBase单机模式和伪分布式模式安装和配置》的基础上, 本文主要介绍 HBase 全分布...

HBase单机模式和伪分布式模式安装和配置

HBase – Hadoop Database, 是一个高可靠性的、高性能的、可伸缩的、面向列存储的开源分布式存储系统。本文介绍了 HBase 单机模式和伪分布式模式的安装和配置

ZooKeeper简单API

##简单API ZooKeeper的设计目标之一就是提供一个非常简单的编程接口。这个编程接口主要支持以下几种操作: 操作 说明 create 在树中创建一个节点 delete 删除一个节点 exists 测试节点是否存在...

2016/07/13 10:57
178
ZooKeeper命令行操作

ZooKeeper命令行脚本 ZooKeeper安装目录下的 bin 目录下提供了一些命令行工具。 脚本 说明 zkCleanup.sh 用于清理 ZooKeeper 事务日志文件和对应的数据快照文件 zkCli.sh ZooKeeper 客户端 ...

ZooKeeper配置详解

##前言 ZooKeeper 的行为是由 ZooKeeper 配置文件(zoo.cfg)来控制的。假设 ZooKeeper 服务器的磁盘布局是一样的, 那么 ZooKeeper 集群中的所有服务器都可以使用相同的配置文件。如果服务器使...

2016/07/10 20:06
1K
ZooKeeper服务器端四字命令

##前言 在ZooKeeper安装和配置一文中, 我们使用了 stat 命令来验证 ZooKeeper 服务器是否成功启动。ZooKeeper 还支持很多类似的由四个字母组成的命令, 我们称之为 "四字命令"。可以通过 teln...

2016/07/10 15:17
671
ZooKeeper安装和配置

本文详细展示了ZooKeeper单机和集群模式下的安装和配置

VMware Fusion指定虚拟机IP

VMware Fusion中虚拟机的IP总是不断变化,导致自己搭建的Hadoop、Spark集群的维护非常不方便, 下面就展示如何去为虚拟机指定IP地址

Scala与Java交互

Scala的优势之一就是它可以很容易与Java代码混合使用

2016/06/26 13:45
114
Scala "Hello,world!" 程序

每种编程语言都会以一个 "Hello, world!" 程序作为开始, 本文就使用 Scala 语言编写 "Hello, world!" 程序来开始 Scala 的学习之旅!

2016/06/25 01:36
924

没有更多内容

加载失败,请刷新页面

返回顶部
顶部