spark安装测试 由于本地已经安装好hadoop相关组件，所以本文是在yarn的基础上对spark进行安装及测试 确保hdfs及yarn成功启动，hadoop版本为2.7.3 安装scala，由于本人安装的spark是2.4.0,对应...

CNN卷积神经网络原理讲解+图片识别应用（附源码） 笨方法学习CNN图像识别系列 深度学习图像识别项目（中）：Keras和卷积神经网络（CNN） 卷积神经网络模型部署到移动设备 使用CNN神经网络进行...

[TensorFlow教程资源](https://my.oschina.net/u/3787228/blog/1794868](https://my.oschina.net/u/3787228/blog/1794868 "TensorFlow教程资源") 教程资源2 深度学习入门笔记系列 ( 八 ) ——...

梯度下降算法 https://www.jianshu.com/p/c7e642877b0e 极大似然估计详解： https://blog.csdn.net/class_brick/article/details/79724660 https://blog.csdn.net/zengxiantao1994/article/d...

问题1：java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set. 参考：https://wiki.apache.org/hadoop/WindowsProblems 从其中选定版本，然后将其中的winutils.exe与hadoop.dl...

flume之event写入FileChannel doPut(event)-->获取共享锁后[log.lockShared();]-->FlumeEventPointer ptr = log.put(transactionID, event); 此处的log.put即将transactionID及event进行后续...

背景 业务目的是能够分析nginx和apache每天产生的日志，对url、ip、rest接口等信息进行监控，并将数据发送到elasticsearch服务。 对比flume 不重复消费，数据不丢失 目前flume支持hdfs比较好...

系列一： 鸢尾花数据集可视化、线性回归、决策树花样分析，读取csv格式数据 2 3 np_utils.to_categorical 4

在看flume源码时遇到 m.appendReplacement(String a,String b)函数，一时没看懂，仔细看了一下。 public class RegexDemo02 { public static void main(String[] args) { Patter...

#指定Agent的组件名称 name = value a1.sources = r1 a1.sinks = k1 a1.channels = c1 #指定Flume source(要监听的路径) a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /home/...

flume启动代码分析记录 1.Application.java-->main方法： 先根据命令行内容加载相应的文件类别： try { boolean isZkConfigured = false; Options options = new Options(); Option ...

protected Map<String, String> toMap(Properties properties) { Map<String, String> result = Maps.newHashMap(); Enumeration<?> propertyNames = properties.propertyNames(); ...

Table是Guava提供的一个接口 Interface Table<R,C,V>，由rowKey+columnKey+value组成 它有两个键，一个值，和一个n行三列的数据表类似，n行取决于Table对对象中存储了多少个数据 主要使用的方...

1. 介绍 Avro 是 Hadoop 中的一个子项目，也是 Apache 中一个独立的项目，Avro 是一个基于二进制数据传输高性能的中间件。在 Hadoop 的其他项目中，例如 HBase 和 Hive 的 Client 端与服务端...

简介 开始学es，总结出现的问题和解决方法。本文是在三个节点上进行安装。条件允许的话，可以在多台机器上配置es节点，如果你机器性能有限，那么可以在一台虚拟机上完成多节点的配置。 三个节...

客户端上的使用 1.getInputStream方法可以得到一个输入流，客户端的Socket对象上的getInputStream方法得到输入流其实就是从服务器端发回的数据。 2.getOutputStream方法得到的是一个输出流，...

背景： 在测试kafaka connect时，每次为了清理脏数据，直接将topic删除掉，然后进入zk将相应的topic删除，一次一不小心将zk中的数据全部删除了，导致kafka启动不起来。 在kafka大神的指导下，...

flume->hive传输数据需要自己搭建hive环境，由于刚接触hive，所以鼓捣了好几天才将内嵌式正式搭建成功；下一步将要利用flume和kafka connect将数据传输到hive中，最后搭建远程操作集群完成该...

研究flume有一段时间了，不过在对其源码进行修改时，每次都是将修改的代码上传到服务器，然后重启，特别麻烦及浪费时间。前段时间组长告诉我可以远程调试flume源码，这样无论对于阅读源码或是...

导语 之前一直用免费的XXNetFanqiang和langdeng，但最近还是网络不稳定，有些国外网站并不能访问。于是于是今天想自己搭建属于自己的fanqiang服务器。 服务器选择 2017-10-6更新：腾讯云 也支...