加载中
seata-1.3.0+nacos1.3.2实现分布式事务(一)

一、概述 这里分两篇文章进行讲解seata+nacos实现分布式事务,本篇文章主要讲解seata和nacos的安装配置,这里我都是在我本机win10环境进行的配置,linux环境配置类似,这里就不再讲解。涉及到...

kettle连接HDP3组件Hive3.1.0存取数据

1.近况 最近忙于更换工作一直没有更新自己的公众号,十一过后刚入职医疗行业大数据公司,主要还是从事Hadoop相关的工作,正好同事用到了Kettle从Oracle向Hive中抽取数据,周末有空就在自己集...

个人简书页面

https://www.jianshu.com/u/b5cd844855da

Spark2.2.0实战:自动获取Json文件元数据信息,注册两个临时表,条件查询后,合并相同记录数据

相关知识回顾: Spark支持两个方式将RDD转换成DataFrame 1.反射;将schema信息定义在一个单独的class中,通过这个scheme转换成对应的DataFrame,这种方式简单,但不建议用,因为scala的case cl...

Spark2.x入门:SparkStreaming工作原理(官网翻译)

官网翻译大体意思如下: SparkStreaming是核心SparkApi的扩展,支持可伸缩、高吞吐量、容错的实时数据流处理。数据可以从许多来源获取,如Kafka、Flume、Kinesis或TCP sockets,可以使用复杂...

Spark2.2.0实战:RDD转DataFrame两种方式(下)

Spark SQL支持两种不同的方法将现有的RDDs转换为数据集。 上一篇文章通过实例讲解通过映射方式装换,这里实例讲解第二种方式; 第二种方法:通过编程接口,该接口允许您构造一个模式,然后将...

Spark2.2.0实战:RDD转DataFrame两种方式(上)

Spark SQL支持两种不同的方法将现有的RDDs转换为数据集。 第一个方法:使用反射来推断包含特定对象类型的RDD的模式。这种基于反射的方法使代码更加简洁,并且当您在编写Spark应用程序时已经了...

心情小站:出路--2020大年初六-抗击新冠肺炎

地球戴着口罩 病毒像星系一样发育 数亿年进化史 人类尽心辅佐弱者 登上霸主宝座 居民比猫狗少 堕落比羞耻多 我们被统一命令不准露脸,不准拥抱 长江在拼力死扛,为着自己不争气的儿女 没躺在...

SparkStreaming第一个WordCount程序(java/scala实现)

程序从windows一个socket端的9999端口接收以换行符分隔的多行文本,每两秒一个时间窗口,打印字数统计。 Socket数据发送命令 window发送命令 nc -l -p 9999 linux 发送命令 nc -lk 9999 Java...

Hive进阶:Hive通过外部表操作Hbase数据

概述: HBase: 查询效率比较高,常为实时业务提供服务,但是其查询方式比较单一,只能通过row方式get单条数据,或者通过scan加过滤器的方式扫描数据表获取数据。 Hive: hive用来存储结构化数...

Spark2.x入门:SparkStreaming消费Kafka实例

软件软件: spark版本是apache spark2.2.0 kafka版本是kafka0.10.0 采用Direct Approach的方式来融合Spark Streaming和Kafka。没有采用Receiver-Based的方式。后续我会专门整理一篇文章分析两...

Flink1.8进阶:Flink1.8批量Sink到HBase

实现背景: 消费Kafka数据写入HBase时,单条处理效率太低。需要批量插入hbase,这里自定义时间窗口countWindowAll 实现100条hbase插入一次Hbase 前面我就不写了 直接上核心代码 /*每10秒一个处...

HBase1.x入门:协处理器Coprocessor(动态、静态加载)

要使您的协处理器对HBase可用,必须静态(通过HBase配置)或动态(使用HBase Shell或Java API)加载它。 1.静态加载: 按照以下步骤静态加载协处理器。请记住,您必须重新启动HBase来卸载静态加载...

HBase1.x入门:协处理器Coprocessor(概述)

概述: 在HBase中,使用Get或Scan获取数据,而在RDBMS中使用SQL查询。为了只获取相关数据,您使用HBase Filter过滤它,而在RDBMS中使用WHERE谓词。 获取数据后,对其执行计算。这种范型适用于...

Scala进阶:编程跳出循环的三种方法

基于boolean类型的控制变量 package com.unicom.ljs.learning/** * @author: Created By lujisen * @company ChinaUnicom Software JiNan * @date: 2020-02-01 22:15 * @version: v1.0 * @d...

HBase1.x实战:BulkLoad批量导入数据代码实例

1.概述: HBase包含几种将数据加载到表中的方法。最直接的方法是使用MapReduce作业中的TableOutputFormat类,或者使用客户端api;然而,这些并不总是最有效的方法。 BulkLoad将文本文件或者其...

蝴蝶的重生 --2020年大年初九上班前一天

幼年时谛听过这座城市 多年前触摸过这片江土 如今放进搜索框 黄鹤楼和东湖都被“疫情”隔离安置 只留下一只巨大的蝴蝶 在老母亲的胸口强忍战栗 医务人员将呐喊和失眠一次次输进她的血液 兄弟...

HBase1.x实战:协处理器Java开发实例--ObserverCoprocessor

概述: HBase日常开发中可能需要根据查询条件对固定表部分列建立二级索引存到另外一张表,或要求在插入A表的同时,需要同步部分列到B表中,我们就可以通过协处理实现这个需求: 实例: A表:...

最新发布:济南市医疗救治定点医院和发热门诊一览

春节过后,全国新型肺炎确诊数据统计 腊月26确诊291人 腊月27确诊391人 腊月28确诊440人 腊月29确诊571人 大年30确诊830人 初一确诊1287人 初二确诊1975人 初三确诊2744人 初四确诊4515人 初...

Kafka入门:常用开发、运维命令(kafka0.10.x)

概述: 下面是开发和项目运维实战过程中总结的一些kafka常用的命令,已在kafka0.10.x环境进行了测试验证。 常用命令: 1.查看帮助 /usr/hdp/2.6.3.0-235/kafka/bin/kafka-topics.sh --help ...

2020/02/04 08:40
45

没有更多内容

加载失败,请刷新页面

返回顶部
顶部