在Hadoop中查看Hive执行的SQL语句 1：点开hadoop yarn的监控界面 http://ip:8088/(默认的) 如下图： 点击: 进入： 点击红线部分进入： 再点击红线部分进入如下图： 在红线部分输入：hive.qu...

hadoop提供了Hadoop distcp命令在Hadoop不同集群之间进行数据复制和copy。 使用格式为：hadoop distcp -pbc hdfs://namenode1/test hdfs://namenode2/test distcp copy只有Map没有Reduce us...

在开源中国和平常中遇到很多人在MongoDB3.2版本之后发现MongoVE连上MongoDB 却不能通过它查看数据的问题。写了这一篇文章解释一下为什么会出现这种情况已经解决方案！

elasticsearch批量数据导入和导出

Kafka Consumer

redis常用命令

java 静态变量与静态初始化块中变量的初始化顺序

eclipse 开发spark程序找不到reduceByKey操作 或者reduceByKey is not a member of RDD

一般我们安装好系统后常常会有一些软件默认没有安装，但ISO镜像里面都带有了。单独安装某写应用会失败由于依赖关系！这时候就需要我们建立本地yum源。

mongoDB 针对多个条件进行分组

用apache下的common-net.jar包开发Java FTP下载功能

在运行mongos命令时出现如下类似错误 config servers localhost:27017 and local host:12000 differconfig servers localhost:27017 and localhost:12000 differconfig servers localhost:27...

1、安装ruby和DevKit 从http://rubyinstaller.org/downloads 上下载Ruby 1.9.3-p194 和DevKit-tdm-32-4.5.2-20111229-1559-sfx.exe 安装； 2、http://dev.mysql.com/downloads/mysql/ 下载最...

1、MySQL常用命令 create database name; 创建数据库 use databasename; 选择数据库 drop database name 直接删除数据库，不提醒 show tables; 显示表 describe tablename; 表的详细描述 se...

从MAP中统计输入的行数然后发送到reduce端。

今天看了spark的流处理。写了一个小程序。

用Spark求最大值本地模式求最大值

Hadoop开发指南 一：开发环境的搭建 1：环境准备： 若有Linux系统则直接跳到2。若无Linux则在虚拟机上虚拟一个Linux系统。我的开发环境是在Oracle Vm virtualBox上虚拟一个Ubuntu 12.04 Linu...

添加mail.jar架包 package com; import java.util.Properties; import javax.mail.BodyPart; import javax.mail.Message; import javax.mail.Multipart; import javax.mail.Session; import ...

Log4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的，它可接key=value格式的设置或xml格式的设置信息。通过配置，可以创建出Log4J的运行环境。 1. 配置文件 Log4...