加载中
【Flume】- 收集 Log4j 日志上送Kafka

Flume 收集 Log4j 日志上送Kafka存储 环境准备 下载Flume: http://flume.apache.org/ 安装: 解压下载包到自定义路径 配置agent # 功能:过滤器过滤json信息存储kafka agent.sources = s1 ag...

2019/04/10 14:17
187
【Kafka】- Java 客户端

旧版本 工作流程:通过ZK集群获取Kafka集群信息,进而进行Kafka相关操作 package com.zhiwei.kafka.base; import kafka.admin.AdminUtils; import kafka.admin.RackAwareMode; import kafka...

2019/04/09 11:49
39
【Kafka】- KafkaStream wordcount 案例

kafka Stream 简介 Kafka自身提供的流式数据处理工具,轻量级 案例 Wordcount package com.zhiwei.kafka.streams; import com.zhiwei.util.PropertyUtils; import org.apache.kafka.common.s...

2019/04/09 11:32
47
【Storm】- Storm集成kafka

Storm 流式处理Kafka数据 tips 老版本:官方文档 新版本:官方文档 Storm可集成组件: 测试代码 需求:给kafka数据添加日期 实际用途:可根据业务续期自定义,例如解析Nginx日志ip限制访问等...

2019/04/08 17:34
112
【Solr】- Field 域配置

Schema.xml: 配置域名及域的类型等信息,Solr域先定义后使用 solr core的conf目录:配置域名及域的类型等信息,Solr中的域要先创建后使用 {"id":"change.me","title":"change.me"} title表示...

2019/02/26 23:21
26
【Solr】- 分析器 Analyzers

作用:解析用户传递的搜索信息,抽取出关键字,然后进行过滤,最后去索引库检索,返回用户需要的信息,例如百度的关键字竞价机制 Solr分析器组成:分词器和过滤器 分词器:抽取关键字 过滤器...

2019/02/26 23:15
58
【Solr】- Solr Admin管理员界面

Solr管理员访问界面: Dashboard:仪表盘:状态信息、版本信息、JVM信息 Logging:日志信息 Core Admin:solr core的维护界面 Java Properties:Java属性信息 Thread Dump:线程信息 Analysis:分...

2019/02/26 23:08
32
【Solr】- Tomcat部署

Solr可部署在任何Servlet容器:Tomcat/Jetty Solr部署在Tomcat的步骤 1: 创建Solr Home:磁盘任意位置:d:/temp/solr 2: 部署到tomcat: example/webapps目录下的solr.war部署到tomcat,新sol...

2019/02/26 23:03
39
【Solr】- SolrCloud 基础操作

SolrCloud solr基于Zookeeper协调组件搭建的分布式搜索引擎,具有zookeeper的高可用以及集群的可伸缩性的特点。 SolrCloud结构图 Collection:对应standby模式Solr Core Shard(分片): 对应Col...

2019/02/26 22:58
32
【Solr】- Apache SolrTM 5.3.1 Documentation

Solr Quick Start: Apache Solr官网翻译 概要 文档主要包含Solr启动、运行Solr导入各种形式的数据源到多个集合中,近距离体验Solr管理员和搜索接口 要求 系统要求 Apache Solr 发布包 开始 ...

2019/02/26 22:41
11
【Solr】- 基础介绍

Solr: 基于Lucene的全文搜索引擎 工作流程 索引:客户端发送Post请求到solr服务器(XML/JSON),就可以添加索引删除索引、修改索引的操作 搜索:客户端发送get请求到solr服务器,请求solr服务器...

2019/02/25 09:27
18
【Zookeeper】 - 完全分布式配置

测试系统:CentOS6.5 64位 虚拟机:Vmware Workstation Zookeeper集群节点数:3 ZK角色 Leader: 负责写请求 follower: 跟随者,具有投票权,否则读请求或转发写请求,具有投票权 observer: ...

2019/02/25 09:19
54
【Spark】- 单机模式部署

单机部署:单台主机运行Spark,不依赖YARN、MESOS管理资源 Saprk版本:spark-2.2.1-bin-hadoop2.7 部署步骤: 解压Spark的二进制压缩包,最好配置环境变量 启动master节点:./sbin/start-mast...

2019/02/25 09:10
341
【HBase】 - 单机模式、伪分布式、完全分布式配置

Hbase 简介 Hbase: Hadoop Database Hbase是非关系型数据库,随着现在互联网的数据量越来越多,需求更加多元化,传统的关系型数据库无法满足实际的业务需求,NoSql类型数据库孕育而生。 传统...

2019/02/25 09:03
186
【Hadoop】- MapReduce 框架详细介绍

MapReduce 简介 说明: 通过由普通机器组成的集群对大量数据集进行并行处理可依靠的容错软件框架。 MapReduce作业可以将数据集分割为Map任务并行处理的数据块,框架对对Map过程产生的数据进行...

2019/02/24 23:46
157
【Hadoop】- MapReduce 代码工作过程

Hadoop MapReduce基础案例 MapReduce:Hadoop分布式并行计算框架 思想:分治法 通俗解释 工厂给客户交付货物1000吨,卡车A运量50吨,需要顺序20次,如果平时客户不忙20次运输所需的时间客户能...

2019/02/24 23:38
44
【Hadoop】- HDFS文件系统介绍

HDFS: Hadoop Distributed File System 特点:hadoop分布式的文件系统,具备高容错、部署方便的特点,master/slave架构 组件:NameNode和DataNode NameNode:名称节点,记录HDFS文件所在的Blo...

2019/02/24 23:33
15
【Hadoop】- HDFS API 基本用法

HDFS: Hadoop设计的一种分布式文件系统,本文主要介绍hdfs文件系统的JavaAPI的使用 ①:公共代码:设置hdfs的访问接口 private static String hdfsPath = "hdfs://192.168.174.131:9090"; pr...

2019/02/24 23:27
50
【Hadoop】- Hadoop异常处理

异常1: 2016-12-31 22:39:45,304 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: NameNode/192.168.174.128:9090. Already tried 9 time(s). 2016-12-31 22:39:46,314 E...

2019/02/24 23:22
36
【Hadoop】- Hadoop1.x 完全分布式环境搭建

环境: 1台NameNode服务器,2台DataNode服务器 安装步骤 ①:配置/etc/hosts文件:实现集群内部的DNS解析,无需查询DNS服务器,当访问远程主机时首先查询hosts文件是否有配置,如果配置则直接...

2019/02/24 23:08
16

没有更多内容

加载失败,请刷新页面

返回顶部
顶部