加载中
关于flink的时间处理不正确的现象复现&原因分析

跟朋友聊天,说输出的时间不对,之前测试没关注到这个,然后就在processing模式下看了下,发现时间确实不正确 然后就debug,看问题在哪,最终分析出了原因,记录如下: 具体我在朋友的https:/...

2关于flink的时间字段-ProcessTime-重新debug-通知观察方接手进行处理

现在,观察方如何得知有消息进来?断点在 stop in org.apache.flink.streaming.runtime.tasks.OneInputStreamTask.run stop at org.apache.flink.streaming.runtime.tasks.OneInputStreamTas...

1关于flink的时间字段-ProcessTime-重新debug-读kafka->通知观察方

之前为了赶项目进度(人少,没资源),只研究了下针对processing time,因为这个取的是当前时间,通过争取时间快速支撑了一些业务的上线。 而随着业务的陆续接入,全部使用processing time已经...

关于flink消费kafka的序列化时-如何拿到消息的meta信息

首先,我们故意制造一个异常 然后,发送一个JSON数据,并且缺失了一些字段,看看报什么错! 顺利抓到调用栈 [2018-11-23 13:24:32,877] INFO Source: MyKafka010JsonTableSource -> from: (p...

Kafka-producer-perf-test-0.10.2.1-压测脚本改造

最近网关和业务的日志线上都是4万/秒,然后需要用flink算一下每个业务的异常数,周期性输出分析结果 既然是4万/秒,那么我起码得压个10万/秒才能安心上线,那么问题来了,怎么构造10万/秒的压...

关于flink的日志文件设置

1)yarn的启动脚本 exec /bin/bash -c "$JAVA_HOME/bin/java -Xms580m -Xmx580m -XX:MaxDirectMemorySize=320m -Daaa=1 -XX:NativeMemoryTracking=detail -XX:+UseParNewGC -XX:+UseConcMar...

flink-v0.4-rc1-源码分析3:启动Task Manager 脚本的分析

下面,聊一下启动task manager的脚本过程 /root/jdk1.8.0_181/bin/java -XX:+UseParNewGC -XX:NewRatio=8 -XX:PretenureSizeThreshold=64m -Xms512m -Xmx512m -Dlog.file=/root/flink-v0.4-r...

flink + redis sink

1)MyRedisAppendSink /* * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work fo...

关于outputFormat中是否要关联schema的探讨

开始,input/output都定义了schema,这样肯定没问题,可以跑通,然后思考到这个问题 在整个框架中,是这里触发了configure def writeToSink[T](sink: TableSink[T], conf: QueryConfig): Unit...

参考官方mysql自定义一个mysql sink connector

写4个类,比如我的是下面4个类 备注:因为我司用的是内部的zebra框架,所以代码自行替换连接池为druid等. 参数也请自行替换 1)MyJDBCAppendTableSink.java /* * Licensed to the Apache So...

如何构建一个flink sql平台

我们都知道,离线计算有Hive,使用过的知道,需要先定义一个schema,比如针对HDFS这种存储对标mysql定义一个schema,schema的本质是什么?主要描述下面这些信息 1)当前存储的物理位置的描述 ...

Flink-1.5.0-源码分析系列10:接收任务

下面我们看TM是如何接收任务并处理的! jdb -sourcepath /root/kafka-clients-0.10.2.1-sources:/root/flink-1.5.0-src/flink-connectors/flink-connector-kafka-0.10/src/main/java:/root/f...

Flink-1.5.0-源码分析系列2:buildProgram

下面我们来看看buildProgram是怎么实现的 stop in org.apache.flink.client.cli.CliFrontend.buildProgram 里面有1个细节,就是如果未指定entrypointClassName,就会自己找 Step completed: ...

YARN-2.7.3-源码分析系列5:关于RM的HA的一点小知识点

用到的参数有 <!--高可用--> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.ha.automatic-failover.e...

YARN-2.7.3-源码分析系列2:启动脚本原理的分析

上一节,我们把二进制和源码都下载好了,这一把,我们来启动脚本的研究,看看究竟是如何把RM和NM启动起来的! -------------启动脚本是 ./sbin/start-yarn.sh 那就让我们来分析一下 不重要的...

YARN-2.7.3-源码分析系列1:所需的二进制+源码-下载

1)版本选择 正如你所知道的,版本太多了,那么到底选择哪个版本呢?莫慌,因为我之前装了Ambari,见下面的图 2)二进制版本下载 在哪下载呢? 打开 http://archive.apache.org/dist/hadoop/...

flink-udf-kafka-json-嵌套

给一个2层嵌套的数据 {"metric":"smsSendSucessCout1","nested":{"clientId":"client-id","number":20},"time":1537075089042,"value":"1.0"} 这个其实只要定义好schema就可以了,直接上源码...

2.2.0-ContainersMonitorImpl的报错解决

<property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> 提交任务后,yarn报错,我们看一下错误内容 2018-09-04 01:58:44,001 INFO org.apache.ha...

2.2.0-ApplicationMaster总是连接0.0.0.0:8030问题的解决

查看调用栈如下: [1] org.apache.hadoop.ipc.Client$Connection.handleConnectionFailure (Client.java:819) [2] org.apache.hadoop.ipc.Client$Connection.setupConnection (Client.java:6...

2.7.3-YARN-获取debug命令:resourceManager+nodeManager

1 源码和二进制下载 http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/ 源码 http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz 二进制 http://a...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部