个人空间 - OSCHINA - 中文开源技术交流社区

满小茂

Software Developer

经验值

618

开源豆

粉丝

关注

关注私信

专长领域： WEB开发, 服务器端开发

开发平台： Java EE, Java SE, Linux/Unix

连击天

fork: star:

加载中

在使用ES时，我们常见的就是需要生成一个template来定义索引的设置，分词器，Mapping.本文将基于项目经验来总结一些常用的配置。 Index设置 index.refresh_interval 配置一个刷新时间，将ind...

index match preload store docs elasticsearch oscache 操作系统 shards https guide reference

大数据

2020/05/24 18:55

4.4W

ES写过程 1.ES会将document发送给coordinate node,节点根据document数据路由到指定的节点，改节点包含该primary shard 2.把文档存储写入到primary shard，如果设置了index.write.wait_for_ac...

index shards https html reference delete elasticsearch guide elastic wait-for-memory update index-

大数据

2019/09/08 22:14

3.5K

1. Flink Barriers Flink分布式快照的核心元素是流barriers。这些barriers被注入数据流并与记录一起作为数据流的一部分流动。 barriers永远不会超过记录，流量严格符合要求。 barriers将数据...

flink operator timer https release projects html docs apache processing stream barriers state

大数据

2019/03/17 22:50

1.Flink窗口 Window Assigner分配器。窗口可以是时间驱动的（Time Window，例如：每30秒钟），也可以是数据驱动的（Count Window，例如：每一百个元素）。一种经典的窗口分类可以分成：翻...

watermark flink windows https stream docs projects html apache context java 数据处理 session

大数据

2018/12/17 00:38

每个任务最重要的一个过程就Shuffle过程，这个过程会把所有的数据进行洗牌整理，排序，如果数据量大，将会非常的耗时。如图1.1所示，是一个从map端输出数据到合并成一个文件的过程。图1.1 M...

reduce hadoop mapreduce v mapper k spill core-combine kvbuffer hdfs java merge sort reducer copy

大数据

2018/08/28 20:01

2.3K

数据倾斜在Hive中执行SQL的时候，我执行关联，分组操作时，往往容易遇到数据倾斜的情况，比如常见的HQL会发生数据倾斜的状况。大多数的解决思路是 a. map端聚合. b. 使用两阶段聚合，第一阶...

hive reduce udf null rank spark mapper auto mrjob apache hadoop cloudera https tasks hint collect

大数据

2018/04/01 16:15

711

HDFS参数调优 core-site.xml hadoop.tmp.dir 默认值： /tmp 说明：尽量手动配置这个选项，否则的话都默认存在了里系统的默认临时文件/tmp里。并且手动配置的时候，如果服务器是多磁盘的，每...

mapreduce reduce yarn hbase hdfs zookeeper compress hadoop server hive https application apache

大数据

2017/10/15 22:15

1.2K

朴素贝叶斯算法常见用于文本分类，垃圾邮件分类，预测模型等

alice examples 贝叶斯 apache spark java github https tree 推荐系统 blob 贝叶斯算法

机器学习

2017/07/14 00:25

885

逻辑回归的用途逻辑回归常用于预测疾病发生的概率，例如因变量是是否恶性肿瘤，自变量是肿瘤的大小、位置、硬度、患者性别、年龄、职业等等（很多文章里举了这个例子，但现代医学发达，可以...

https blob examples 梯度下降 blog apache github java spark wiki hypothesis .net python bfgs

机器学习

2017/06/18 19:26

3.8K

没有更多内容

加载失败，请刷新页面

满小茂

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈

满小茂

初出茅庐