加载中
eclipse debug调试mapreduce程序

1、将mapred-site.xml文件拷贝一份到项目中 <configuration>     <property>         <name>mapreduce.framework.name</name>             <value>yarn</value>   ...

2014/10/20 22:16
1K
sqoop常用命令

1、利用sqoop在hive中创建一个与mysql中一摸一样的表 sqoop create-hive-table --connect jdbc:mysql://192.168.179.10:7001/test --username root --password 123 --hive-database hive --...

2014/09/28 17:33
149
hive 基础执行语句

hive简单概念 hive是一种基于Hadoop的数据仓库的处理工具,目前只支持简单的类似传统关系型数据库的SQL查询,修改操作功能,他可以直接将SQL转化为MapReduce程序,开发人员不必一定要学会写M...

2014/09/26 18:39
1K
hive建立表存储格式

hive在建表是,可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式 例如: [plain] view plaincopy > CREATE EXTERNAL TABLE MYTEST(num INT, name STRING) > ROW FORMAT DELIMITED FIELD...

2014/09/26 15:12
111
hadoop常用操作命令

hdfs常用操作命令 查看文件根目录 hadoop fs -ls / 创建文件夹 hadoop fs -mkdir /linksus 上传文件 hadoop fs -put /root/test.txt(本地文件路径) /linkus/text.txt(dfs系统上,制定文件名...

2014/08/20 12:04
169
hadoop-2.3.0-cdh5.1.0完全分布式集群配置及HA配置(待)

hadoop-2.3.0-cdh5.1.0完全分布式集群配置HA配置

2014/08/20 09:46
6.8K
spark部署

1 节点说明 IP Role 192.168.1.111 ActiveNameNode 192.168.1.112 StandbyNameNode,Master,Worker 192.168.1.113 DataNode,Master,Worker 192.168.1.114 DataNode,Worker HDFS集群和Spark集群...

2014/07/18 14:06
6.7K
lucene调研

一、Lucene简介 Lucene是有知名全文检索/索引专家Doug Cutting采用Java语言开发的基于全文搜索的软件工具,之后贡献给Apache软件基金会做为一个开源项目,成为一个开放源代码的全文检索引擎...

2014/07/09 11:34
150
lucene测试案例源码

一、测试准备 测试环境:Mac+JDK1.6 测试工具:eclipse4.3,mysql lucene版本:lucene4.0 主要Jar包:ant- 1.8.2.jar、junit-4.10.jar、junit4-ant-2.0.1.jar、lucene-analyzers-common- 4....

2014/07/09 11:17
334
reactor模型 preactor模型

通常的,对一个文件描述符指定的文件或设备, 有两种工作方式: 阻塞与非阻塞。所谓阻塞方式的意思是指, 当试图对该文件描述符进行读写时, 如果当时没有东西可读,或者暂时不可写, 程序就进入等...

2014/07/05 06:30
153
cdh5 beta2 集群配置文件

注意:需要自己配置java环境,ssh通信 版本:hadoop:hadoop-2.2.0-cdh5.0.0-beta-2.tar.gz       zookeeper:zookeeper-3.4.5-cdh5.0.0-beta-2.tar.gz       hbase:hbase-0.96.1....

2014/06/21 09:32
420
HBase/Hadoop学习笔记

学习目标: 至少掌握五点: 1. 深入理解HTable,掌握如何结合业务涉及高性能的HTable。 2. 掌握与HBase的交互,通过HBase Shell命令及Java API进行数据的增删改查。 3. 掌握如何用MapReduce...

2014/06/05 18:19
165
MRUNIT hadoop逐步调试工具!

MRUNIT hadoop MapReduce逐步调试工具! MRUnit简介 MRUnit是一款由Couldera公司开发的专门针对Hadoop中编写MapReduce单元测试的框架。可以用MapDriver单独测试 Map,用ReduceDriver单独测试...

2014/06/05 09:27
67
hadoop namenode格式化错误处理

Path /usr/local/hd/dfs/name should be specified as a URI in configuration files. Please update hdfs configuration....

2014/05/29 23:57
4.9K
HADOOP HA yarn-site.xml

 2.3. Minimum Settings for Automatic ResourceManager HA Configuration The minimum yarn-site.xml configuration settings for ResourceManager             ...

2014/05/18 10:42
2.5K
Hadoop YARN配置参数剖析(1)—RM与NM相关参数

Hadoop YARN配置参数剖析(1)—RM与NM相关参数

2014/05/16 21:41
172
hadoop coulud 2.x部署一点儿心得

最近在部署hadoop-cloudera-beta2,遇到一个很头疼的问题; 在从NN执行hdfs namenode –bootstrapStandby的时候总是执行失败,异常如下:       org.apache.hadoop.hdfs.server.common.Storage:...

2014/05/15 09:54
372
Hadoop YARN常见问题以及解决方案

Hadoop YARN常见问题以及解决方案

2014/05/12 18:04
150
Hadoop YARN最近几个新特性

Hadoop YARN最近几个新特性

2014/05/12 18:00
210
Hadoop YARN单点故障解决方案(HA)介绍

Hadoop YARN单点故障解决方案(HA)介绍

2014/05/12 17:57
381

没有更多内容

加载失败,请刷新页面

返回顶部
顶部