加载中
使用IntelliJ IDEA进行远程调试

远程调试服务器是一个比较实用的技巧,以便我们能够迅速定位线上问题。本文会介绍如何在IntelliJ IDEA中进行远程调试。 配置IntelliJ IDEA 选择Edit Configurations ——>+号(Add New Confi...

Hive collect_set函数

背景 工作中遇到这样一个需求, 就是需要查出品牌对应的所有分类, 目前品牌分类表大致结构如下: av_seq cp_seq 11111 CC0000 11111 CC1111 11111 CC2222 22222 CC3333 22222 CC4444 最终想要的...

2016/05/22 20:22
2.8W
SparkSQL错误:Could not find uri with key [dfs.encryption.key.provider.uri] to create a keyProvider

##问题背景 在终端运行 spark-sql 命令,创建一张表,然后使用 LOAD DATA LOCAL INPATH 语法将本地文件中的数据加载到表中,虽然数据能够成功加载进去,但还是提示以下错误: ##问题分析 本地...

2017/04/07 19:30
2.3W
Hive 2.1.1安装配置

##前期工作 安装JDK 安装Hadoop 安装MySQL ##安装Hive ###下载Hive安装包 可以从 Apache 其中一个镜像站点中下载最新稳定版的 Hive, apache-hive-2.1.1-bin.tar.gz。 解压安装Hive 使用以下命...

2016/08/20 12:11
2.1W
Hive分析函数row_number()

本文根据实际业务需求展示了Hive分析函数row_number()的用法。

2016/05/25 23:59
1.6W
Java 深拷贝和浅拷贝

一、引言 对象拷贝(Object Copy)就是将一个对象的属性拷贝到另一个有着相同类类型的对象中去。在程序中拷贝对象是很常见的,主要是为了在新的上下文环境中复用对象的部分或全部数据。Java中有...

2014/03/08 14:31
1.5W
PowerMock介绍

一、为什么要使用Mock工具 在做单元测试的时候,我们会发现我们要测试的方法会引用很多外部依赖的对象,比如:(发送邮件,网络通讯,远程服务, 文件系统等等)。 而我们没法控制这些外部依赖...

2013/08/26 23:37
1.5W
ZooKeeper安装和配置

本文详细展示了ZooKeeper单机和集群模式下的安装和配置

Spark 1.6.1分布式集群环境搭建

本文展示了在之前搭建的Hadoop分布式集群的基础上如何搭建Spark分布式集群环境。

2016/04/14 22:42
1.4W
Mac下IDEA 14.0.3推荐vmoptions设置

idea.vmoptions文件设置如下: -server -Xms512m -Xmx2048m -XX:MaxPermSize=512m -XX:ReservedCodeCacheSize=256m -XX:+UseCodeCacheFlushing -XX:+UseConcMarkSweepGC -XX:+AggressiveOpts...

2014/04/15 20:35
1.3W
ZooKeeper命令行操作

ZooKeeper命令行脚本 ZooKeeper安装目录下的 bin 目录下提供了一些命令行工具。 脚本 说明 zkCleanup.sh 用于清理 ZooKeeper 事务日志文件和对应的数据快照文件 zkCli.sh ZooKeeper 客户端 ...

spring-data-hadoop与HBase结合示例

Spring for Apache Hadoop简化了开发使用了HDFS, MapReduce, Pig 以及 Hive 等 Apache Hadoop 生态技术的应用程序的过程,它提供了一个统一的配置模型和易于使用的API。本文使用一个简单的示...

2016/09/09 23:51
7.6K
Linux将文件内容追加到另一个文件末尾

我在Mac下使用的是zsh,安装scala后把环境变量配置到了.bash_profile文件中,所以命令行中运行scala -version提示scala命令找不到,即环境变量未生效,需要将环境变量拷贝到~/.zshrc文件中。...

2015/01/04 23:36
7.3K
【Spark 2.0官方文档】Spark SQL、DataFrames以及Datasets指南

#文档说明 本文是基于《Spark 官方文档》Spark SQL, DataFrames 以及 Datasets 编程指南 这篇文章翻译而来。 原文中关于R语言的部分本文档全都省略。 由于个人水平有限,有些地方难免翻译的不...

2016/09/11 01:17
6.8K

没有更多内容

加载失败,请刷新页面

返回顶部
顶部