开源项目作者
作为一个开源项目作者，是时候站出来拯救世界了！
领取时间：2016/04/15
领取条件：开源项目被开源中国收录的开发者可领取
强子1985
"Code卡卡西" "要成为海贼王的男人______"
"XXXX-架构师_________"
"全球采矿尖兵___________"
"这个世界充满了未解的迷，但是我只想解开我感兴趣的部分"
软件作品
加载中
原
荐
关于flink的时间处理不正确的现象复现&原因分析
跟朋友聊天，说输出的时间不对，之前测试没关注到这个，然后就在processing模式下看了下，发现时间确实不正确 然后就debug,看问题在哪，最终分析出了原因，记录如下： 具体我在朋友的https:/...
原
2关于flink的时间字段-ProcessTime-重新debug-通知观察方接手进行处理
现在，观察方如何得知有消息进来？断点在 stop in org.apache.flink.streaming.runtime.tasks.OneInputStreamTask.run stop at org.apache.flink.streaming.runtime.tasks.OneInputStreamTas...
原
1关于flink的时间字段-ProcessTime-重新debug-读kafka->通知观察方
之前为了赶项目进度(人少，没资源)，只研究了下针对processing time，因为这个取的是当前时间，通过争取时间快速支撑了一些业务的上线。 而随着业务的陆续接入，全部使用processing time已经...
原
荐
关于flink消费kafka的序列化时-如何拿到消息的meta信息
首先，我们故意制造一个异常 然后，发送一个JSON数据，并且缺失了一些字段，看看报什么错！ 顺利抓到调用栈 [2018-11-23 13:24:32,877] INFO Source: MyKafka010JsonTableSource -> from: (p...
原
Kafka-producer-perf-test-0.10.2.1-压测脚本改造
最近网关和业务的日志线上都是4万/秒，然后需要用flink算一下每个业务的异常数，周期性输出分析结果 既然是4万/秒，那么我起码得压个10万/秒才能安心上线，那么问题来了，怎么构造10万/秒的压...
原
关于flink的日志文件设置
1）yarn的启动脚本 exec /bin/bash -c "$JAVA_HOME/bin/java -Xms580m -Xmx580m -XX:MaxDirectMemorySize=320m -Daaa=1 -XX:NativeMemoryTracking=detail -XX:+UseParNewGC -XX:+UseConcMar...
原
flink-v0.4-rc1-源码分析3：启动Task Manager 脚本的分析
下面，聊一下启动task manager的脚本过程 /root/jdk1.8.0_181/bin/java -XX:+UseParNewGC -XX:NewRatio=8 -XX:PretenureSizeThreshold=64m -Xms512m -Xmx512m -Dlog.file=/root/flink-v0.4-r...
原
flink + redis sink
1)MyRedisAppendSink /* * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work fo...
原
关于outputFormat中是否要关联schema的探讨
开始，input/output都定义了schema,这样肯定没问题，可以跑通，然后思考到这个问题 在整个框架中，是这里触发了configure def writeToSink[T](sink: TableSink[T], conf: QueryConfig): Unit...
原
参考官方mysql自定义一个mysql sink connector
写4个类，比如我的是下面4个类 备注：因为我司用的是内部的zebra框架，所以代码自行替换连接池为druid等. 参数也请自行替换 1）MyJDBCAppendTableSink.java /* * Licensed to the Apache So...
原
荐
如何构建一个flink sql平台
我们都知道，离线计算有Hive,使用过的知道，需要先定义一个schema,比如针对HDFS这种存储对标mysql定义一个schema，schema的本质是什么？主要描述下面这些信息 1）当前存储的物理位置的描述 ...
原
Flink-1.5.0-源码分析系列10：接收任务
下面我们看TM是如何接收任务并处理的！ jdb -sourcepath /root/kafka-clients-0.10.2.1-sources:/root/flink-1.5.0-src/flink-connectors/flink-connector-kafka-0.10/src/main/java:/root/f...
原
Flink-1.5.0-源码分析系列2：buildProgram
下面我们来看看buildProgram是怎么实现的 stop in org.apache.flink.client.cli.CliFrontend.buildProgram 里面有1个细节，就是如果未指定entrypointClassName,就会自己找 Step completed: ...
原
YARN-2.7.3-源码分析系列5：关于RM的HA的一点小知识点
用到的参数有 <!--高可用--> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.ha.automatic-failover.e...
原
YARN-2.7.3-源码分析系列2：启动脚本原理的分析
上一节，我们把二进制和源码都下载好了，这一把，我们来启动脚本的研究，看看究竟是如何把RM和NM启动起来的！ -------------启动脚本是 ./sbin/start-yarn.sh 那就让我们来分析一下 不重要的...
原
YARN-2.7.3-源码分析系列1：所需的二进制+源码-下载
1）版本选择 正如你所知道的，版本太多了，那么到底选择哪个版本呢？莫慌，因为我之前装了Ambari,见下面的图 2）二进制版本下载 在哪下载呢？ 打开 http://archive.apache.org/dist/hadoop/...
原
flink-udf-kafka-json-嵌套
给一个2层嵌套的数据 {"metric":"smsSendSucessCout1","nested":{"clientId":"client-id","number":20},"time":1537075089042,"value":"1.0"} 这个其实只要定义好schema就可以了，直接上源码...
原
2.2.0-ContainersMonitorImpl的报错解决
<property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> 提交任务后，yarn报错，我们看一下错误内容 2018-09-04 01:58:44,001 INFO org.apache.ha...
原
2.2.0-ApplicationMaster总是连接0.0.0.0:8030问题的解决
查看调用栈如下： [1] org.apache.hadoop.ipc.Client$Connection.handleConnectionFailure (Client.java:819) [2] org.apache.hadoop.ipc.Client$Connection.setupConnection (Client.java:6...
原
2.7.3-YARN-获取debug命令:resourceManager+nodeManager
1 源码和二进制下载 http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/ 源码 http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz 二进制 http://a...
没有更多内容
加载失败，请刷新页面
删除文章
文章删除后无法恢复，确定取消删除此文章吗？
删除动弹
动弹删除后，数据将无法恢复
评论删除后，数据将无法恢复