加载中
hdfs基本使用

基本命令 /usr/local/hadoop/bin/hadoop fs -ls / /usr/local/hadoop/bin/hadoop fs -mkdir /test # 创建目录 /usr/local/hadoop/bin/hadoop fs -touchz /test.txt ...

2019/03/01 17:22
27
Linux记录-HDFS副本机制

1. 副本策略 NameNode具有RackAware机架感知功能,这个可以配置。 若client为DataNode节点,那存储block时,规则为:副本1,同client的节点上;副本2,不同机架节点上;副本3,同第二个副本机...

2019/03/01 21:21
25
Hive ORC + SNAPPY

Hive orc 格式 + snappy 压缩是比较常用的存储加压缩格式。 今天处理下面的场景时,解决了一些问题,记录下来: flume消费kafka的数据实时写入hdfs,通过创建分区表,t + 1 时,需要看到昨天...

2019/03/01 19:02
475
Hive基础知识

<a id="1">一、metastore元数据存储对mysql的位置</a> DBS表:存储数据库信息(在hdfs上的存储路径) TBLS表:存储表信息的 COLUMNS_V2表:存储表字段 hive建立一张表的内在机制: 在mysql中记...

2019/03/01 23:25
10
LSTM UEBA异常检测——deeplog里其实提到了,就是多分类LSTM算法,结合LSTM预测误差来检测异常参数

结合CNN的可以参考:http://fcst.ceaj.org/CN/article/downloadArticleFile.do?attachType=PDF&id=1497 除了行为,其他还结合了时序的异常检测的:https://conference.hitb.org/hitbsecconf...

2019/03/01 16:17
62
Hive文件存储格式和hive数据压缩

一、存储格式行存储和列存储 二、Hive文件存储格式 三、创建语句和压缩 <a id="1">一、存储格式行存储和列存储</a> 行存储可以理解为一条记录存储一行,通过条件能够查询一整行数据。 列存储...

2019/03/01 23:26
33

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部