加载中
在Java中如何使用transient

Java语言的transient不像class、synchronized和其他熟悉的关键字那样众所周知,因而它会出现在一些面试题中。这篇文章我将为大家讲解transient。 transient的用途 Q:transient关键字能实现什...

2015/11/16 12:18
60
Kafka的Log存储解析

引言 Kafka中的Message是以topic为基本单位组织的,不同的 topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定 的),每个partiti...

2015/09/29 17:28
404
Hadoop运维笔记 之 Namenode异常停止后无法正常启动

Hadoop运维笔记 之 Namenode异常停止后无法正常启动: 存储,学习,共享。。。。 公司在线上使用了CDH5 HA模式,有两个Namenode节点,结果其中的Standby节点因为一些关于edits文件的报错异常...

2015/09/29 15:03
1K
CDH5.X安装配置kerberos认证过程

CDH-5.2.0-1.cdh5.2.0安装成功,已经运行了几个月了。现在把确实的认证安装配置上。下面是详细的安装配置过程,已经过程中遇到的问题解决办法。 1. 背景 在Hadoop1.0.0或 者CDH3 版本之前, ...

2015/09/29 14:47
766
CDH5.X完全卸载步骤

1. 关闭集群中的所有服务。 这个可以通过clouder manger 主页关闭集群。 2. 卸载 [root@master ~]# /usr/share/cmf/uninstall-cloudera-manager.sh [root@slave1 ~]# service cloudera-scm-...

2015/09/29 14:37
114
hive on spark 编译

前置条件说明 Hive on Spark是Hive跑在Spark上,用的是Spark执行引擎,而不是MapReduce,和Hive on Tez的道理一样。 从Hive 1.1版本开始,Hive on Spark已经成为Hive代码的一部分了,并且在s...

2015/09/25 13:23
718
apache kafka技术分享系列(目录索引)

目录索引: Kafka使用场景 1.为何使用消息系统 2.我们为何需要搭建Apache Kafka分布式系统 3.消息队列中点对点与发布订阅区别 kafka开发与管理: 1)apache kafka消息服务 2)kafak安装与使用...

2015/09/06 11:19
676
Option,Either和Try

Option,Either和Try scala数据交互 本文介绍在Scala 2.10中怎样使用一种函数式的方式来处理数据交互,包括入参及返回值。 Option: 解决null(空指针)问题 Either: 解决返回值不确定(返回两...

2015/08/12 14:30
53
Scala中val, lazy, def的区别

val strVal = scala.io.Source.fromFile("test.txt").mkString  //在strVal被定义的时候获取值,如果test.txt不存在,直接报异常   lazy val strLazy = scala.io.Source.fromFile(...

2015/08/07 14:44
1K
Spark 性能相关参数配置详解-Storage篇

随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。 由于篇...

2015/07/30 16:09
88
Spark&Spark性能调优实战

Spark特别适用于多次操作特定的数据,分mem-only和mem & disk。其中mem-only:效率高,但占用大量的内存,成本很高;mem & disk:内存用完后,会自动向磁盘迁移,解决了内存不足的问题,却带来了...

2015/07/29 16:38
23
海量数据处理算法—Bloom Filter

1. Bloom-Filter算法简介 Bloom-Filter,即布隆过滤器,1970年由Bloom中提出。它可以用于检索一个元素是否在一个集合中。 Bloom Filter(BF)是一种空间效率很高的随机数据结构,它利用位数组...

2015/07/28 16:24
7
cloudera manager & CDH5 安装与升级

一、 准备工作 下载cdh的各种源: 1.下载cloudera manager installer:http://archive-primary.cloudera.com/cm5/installer 2.因为这次要模拟升级安装,首先要先下载beta的源:http://archive-p...

2015/07/23 09:43
84
cloudera如何在spark-shell命令行执行spark hql

编译支持hive的spark assembly 原生的spark assembly jar是不依赖hive的,如果要使用spark hql必须将hive相关的依赖包打到spark assembly jar中来。打包方法: 假设已经装好了maven, 1添加环...

2015/07/07 10:06
138
Kafka集群安装

1.下载kafka正式版 http://kafka.apache.org/downloads.html 2.在Linux下解压tar包 tar -xzfkafka_2.9.2-0.8.1.1.tgz 3.修改server.properties 进入kafka根目录config/server.properties 主要...

2015/06/16 10:24
80
solr之functionQuery(函数查询)

函数查询 让我们可以利用 numeric域的值 或者 与域相关的的某个特定的值的函数,来对文档进行评分。 怎样使用函数查询 这里主要有两种方法可以使用函数查询,这两种方法都是通过solr http 接...

2015/05/25 16:13
5
SOLR使用手册之查询语法

一.基本查询 q – 查询字符串,必须的。 fl – 指定返回那些字段内容,用逗号或空格分隔多个。 start – 返回第一条记录在完整找到结果中的偏移位置,0开始,一般分页用。 rows – 指定返回结...

2015/05/25 16:12
12
使用Solr索引MySQL数据

这里使用的是mysql测试。 1、先在mysql中建一个表:solr_test 2、插入几条测试数据: 3、用记事本打solrconfig.xml文件,在solrhome文件夹中。E:\solrhome\mycore\conf\solrconfig.xml (sol...

2015/05/21 17:03
54
solrconfig.xml配置详解

solrconfig.xml配置文件主要定义了SOLR的一些处理规则,包括索引数据的存放位置,更新,删除,查询的一些规则配置。 可以在tomcat的安装路径下找到这个文件C:\Program Files\Apache Softwar...

2015/05/21 15:24
15
Solr中Facet的用法

在大型电子商务网站中,在商品列表页,我们都可以看到商品按分类,品牌,价格的分类显示,如下图,这些我们可以使用solr中的facet功能实现。 facet的基本功能就是对搜索结果中的商品进行分类...

2015/05/21 12:56
34

没有更多内容

加载失败,请刷新页面

返回顶部
顶部