1
2
3
4
5
6
7
连击 天
fork: star:
加载中
顶
原
使用IntelliJ IDEA进行远程调试
远程调试服务器是一个比较实用的技巧，以便我们能够迅速定位线上问题。本文会介绍如何在IntelliJ IDEA中进行远程调试。 配置IntelliJ IDEA 选择Edit Configurations ——>+号（Add New Confi...
顶
原
Hive collect_set函数
背景 工作中遇到这样一个需求, 就是需要查出品牌对应的所有分类, 目前品牌分类表大致结构如下: av_seq cp_seq 11111 CC0000 11111 CC1111 11111 CC2222 22222 CC3333 22222 CC4444 最终想要的...
顶
原
SparkSQL错误：Could not find uri with key [dfs.encryption.key.provider.uri] to create a keyProvider
##问题背景 在终端运行 spark-sql 命令，创建一张表，然后使用 LOAD DATA LOCAL INPATH 语法将本地文件中的数据加载到表中，虽然数据能够成功加载进去，但还是提示以下错误： ##问题分析 本地...
顶
原
Hive 2.1.1安装配置
##前期工作 安装JDK 安装Hadoop 安装MySQL ##安装Hive ###下载Hive安装包 可以从 Apache 其中一个镜像站点中下载最新稳定版的 Hive, apache-hive-2.1.1-bin.tar.gz。 解压安装Hive 使用以下命...
顶
原
荐
Java 深拷贝和浅拷贝
一、引言 对象拷贝(Object Copy)就是将一个对象的属性拷贝到另一个有着相同类类型的对象中去。在程序中拷贝对象是很常见的，主要是为了在新的上下文环境中复用对象的部分或全部数据。Java中有...
顶
原
PowerMock介绍
一、为什么要使用Mock工具 在做单元测试的时候，我们会发现我们要测试的方法会引用很多外部依赖的对象，比如：（发送邮件，网络通讯，远程服务, 文件系统等等）。 而我们没法控制这些外部依赖...
顶
原
ZooKeeper安装和配置
本文详细展示了ZooKeeper单机和集群模式下的安装和配置
顶
原
荐
Spark 1.6.1分布式集群环境搭建
本文展示了在之前搭建的Hadoop分布式集群的基础上如何搭建Spark分布式集群环境。
顶
原
Mac下IDEA 14.0.3推荐vmoptions设置
idea.vmoptions文件设置如下： -server -Xms512m -Xmx2048m -XX:MaxPermSize=512m -XX:ReservedCodeCacheSize=256m -XX:+UseCodeCacheFlushing -XX:+UseConcMarkSweepGC -XX:+AggressiveOpts...
顶
原
ZooKeeper命令行操作
ZooKeeper命令行脚本 ZooKeeper安装目录下的 bin 目录下提供了一些命令行工具。 脚本 说明 zkCleanup.sh 用于清理 ZooKeeper 事务日志文件和对应的数据快照文件 zkCli.sh ZooKeeper 客户端 ...
顶
原
spring-data-hadoop与HBase结合示例
Spring for Apache Hadoop简化了开发使用了HDFS, MapReduce, Pig 以及 Hive 等 Apache Hadoop 生态技术的应用程序的过程，它提供了一个统一的配置模型和易于使用的API。本文使用一个简单的示...
顶
原
Linux将文件内容追加到另一个文件末尾
我在Mac下使用的是zsh，安装scala后把环境变量配置到了.bash_profile文件中，所以命令行中运行scala －version提示scala命令找不到，即环境变量未生效，需要将环境变量拷贝到~/.zshrc文件中。...
没有更多内容
加载失败，请刷新页面
删除文章
文章删除后无法恢复，确定删除此文章吗？
删除动弹
动弹删除后，数据将无法恢复
评论删除后，数据将无法恢复