加载中
spark安装测试

spark安装测试 由于本地已经安装好hadoop相关组件,所以本文是在yarn的基础上对spark进行安装及测试 确保hdfs及yarn成功启动,hadoop版本为2.7.3 安装scala,由于本人安装的spark是2.4.0,对应...

Cnn学习相关博客

CNN卷积神经网络原理讲解+图片识别应用(附源码) 笨方法学习CNN图像识别系列 深度学习图像识别项目(中):Keras和卷积神经网络(CNN) 卷积神经网络模型部署到移动设备 使用CNN神经网络进行...

tensorflow学习函数笔记

[TensorFlow教程资源](https://my.oschina.net/u/3787228/blog/1794868](https://my.oschina.net/u/3787228/blog/1794868 "TensorFlow教程资源") 教程资源2 深度学习入门笔记系列 ( 八 ) ——...

机器学习算法

梯度下降算法 https://www.jianshu.com/p/c7e642877b0e 极大似然估计详解: https://blog.csdn.net/class_brick/article/details/79724660 https://blog.csdn.net/zengxiantao1994/article/d...

2018/11/26 19:28
8
HDFS-windows运行测试demo问题记录

问题1:java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set. 参考:https://wiki.apache.org/hadoop/WindowsProblems 从其中选定版本,然后将其中的winutils.exe与hadoop.dl...

2018/10/13 19:41
13
flume -- fileChannel简要分析其过程

flume之event写入FileChannel doPut(event)-->获取共享锁后[log.lockShared();]-->FlumeEventPointer ptr = log.put(transactionID, event); 此处的log.put即将transactionID及event进行后续...

2018/09/24 17:17
37
logstash安装及简单测试

背景 业务目的是能够分析nginx和apache每天产生的日志,对url、ip、rest接口等信息进行监控,并将数据发送到elasticsearch服务。 对比flume 不重复消费,数据不丢失 目前flume支持hdfs比较好...

keras/python博客总结

系列一: 鸢尾花数据集可视化、线性回归、决策树花样分析,读取csv格式数据 2 3 np_utils.to_categorical 4

2018/05/22 23:33
12
m.appendReplacement(String a,String b)使用记录

在看flume源码时遇到 m.appendReplacement(String a,String b)函数,一时没看懂,仔细看了一下。 public class RegexDemo02 { public static void main(String[] args) { Patter...

2018/05/10 14:57
35
flume变量加载存放实例

#指定Agent的组件名称 name = value a1.sources = r1 a1.sinks = k1 a1.channels = c1 #指定Flume source(要监听的路径) a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /home/...

2018/05/10 00:36
21
flume启动代码加载分析

flume启动代码分析记录 1.Application.java-->main方法: 先根据命令行内容加载相应的文件类别: try { boolean isZkConfigured = false; Options options = new Options(); Option ...

2018/05/10 00:35
67
java中将properties转换map

protected Map<String, String> toMap(Properties properties) { Map<String, String> result = Maps.newHashMap(); Enumeration<?> propertyNames = properties.propertyNames(); ...

2018/05/09 23:05
384
Guava类库学习--Table(双键的Map)

Table是Guava提供的一个接口 Interface Table<R,C,V>,由rowKey+columnKey+value组成 它有两个键,一个值,和一个n行三列的数据表类似,n行取决于Table对对象中存储了多少个数据 主要使用的方...

2018/05/09 00:44
108
AVRO格式学习总结

1. 介绍 Avro 是 Hadoop 中的一个子项目,也是 Apache 中一个独立的项目,Avro 是一个基于二进制数据传输高性能的中间件。在 Hadoop 的其他项目中,例如 HBase 和 Hive 的 Client 端与服务端...

2018/05/02 09:43
311
ES基础操作

简介 开始学es,总结出现的问题和解决方法。本文是在三个节点上进行安装。条件允许的话,可以在多台机器上配置es节点,如果你机器性能有限,那么可以在一台虚拟机上完成多节点的配置。 三个节...

Socket类的getInputStream方法与getOutputStream方法的使用

客户端上的使用 1.getInputStream方法可以得到一个输入流,客户端的Socket对象上的getInputStream方法得到输入流其实就是从服务器端发回的数据。 2.getOutputStream方法得到的是一个输出流,...

2018/04/20 11:47
31
Kafka误删zk元数据,全部删除(仅限测试环境)

背景: 在测试kafaka connect时,每次为了清理脏数据,直接将topic删除掉,然后进入zk将相应的topic删除,一次一不小心将zk中的数据全部删除了,导致kafka启动不起来。 在kafka大神的指导下,...

2018/04/19 21:29
128
搭建hive环境(一)

flume->hive传输数据需要自己搭建hive环境,由于刚接触hive,所以鼓捣了好几天才将内嵌式正式搭建成功;下一步将要利用flume和kafka connect将数据传输到hive中,最后搭建远程操作集群完成该...

2018/03/14 23:41
62
flume远程调试

研究flume有一段时间了,不过在对其源码进行修改时,每次都是将修改的代码上传到服务器,然后重启,特别麻烦及浪费时间。前段时间组长告诉我可以远程调试flume源码,这样无论对于阅读源码或是...

2018/03/13 00:31
66
服务器科学上网教程(超级简单)

导语 之前一直用免费的XXNetFanqiang和langdeng,但最近还是网络不稳定,有些国外网站并不能访问。于是于是今天想自己搭建属于自己的fanqiang服务器。 服务器选择 2017-10-6更新:腾讯云 也支...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部