加载中
kafka 生产发送消息失败无响应,或者Error while fetching metadata with correlation id

今天在使用代码编写kafka 生产者发送消息的时候,因为我的手误出现的搞笑的事情。 同样的代码和kafka 在不久前执行过,是没有问题的。 代码如下 package streaming.utils import java.util i...

2020/08/21 19:42
2.9W
开发通用的大数据平台

开发面向开发人员- 数据分析人员-业务人员 使用的平台 通常的企业大数据平台 为什么建设大数据平台 常用技术栈 其他企业大数据平台 数据仓库之离线和实时建设 数据仓库vs数据库 数据仓库分层...

2020/08/05 15:35
665
hive beeline 连接报错User:xxx is not allowed to impersonate

今天在使用 hive beeline 的时候 出现了一堆坑 本来已安装了hive 1.1 版本, 打算升级到 hive2 高版本 但是在hive2 高版本 使用 beeline 报错 org.apache.hadoop.ipc.RemoteException(org.ap...

2020/07/30 16:34
3.4K
Flink学习

初始flink https://flink.apache.org/ Process Unbounded and Bounded Data 处理有界数据(批处理)和无界的数据(有开始,没有结束: 流处理) 应用场景: https://flink.apache.org/useca...

2020/07/29 20:31
1.9K
spark MLib机器学习

机器学习 机器学习核心思想 x是输入,Y是输出 物以类聚,人以群分 。 并不会去评估结果的好坏 并不是迭代越多越好(可能出现过度学习) 解决办法: 去调 锯齿这个特征, 或者用大量 树叶的数...

2020/07/26 13:37
487
基于es7和spark推荐系统学习

架构 es搜索原理 TF-IDF 打分 field类型 text:被分析索引的字符串类型 keyword:不能被分析只能被精确匹配的字符串类型 date:日期时间类型 可以配合format一起使用 {"type":"date","format":...

2020/07/23 16:34
519
基于spark离线统计学习

设计流程 离线项目的架构/处理流程 1.数据采集:落地到HDFS 外部将数据采集到内部 SDK数据==>日志==>Hadoop Server日志:Flume、Logstash 数据库:Sqoop 提供给你们采......

2020/07/21 11:31
506
spark 实时流处理学习

spark 下载使用 spark 官网 http://spark.apache.org/ spark 2.2.0 编译参考 : https://blog.csdn.net/u013385925/article/details/81290744 https://www.jianshu.com/p/97afd1940fc5 https...

2020/07/21 11:30
359
重学高等数学

集合 集合运算 交集 区间与邻域 邻域 映射与函数 映射 映射三要素 注意 满设,单设,一一映射 函数的概念 函数的概念 函数的两要素 函数的定义域 函数图形 特殊函数 函数的特性 初等函数 三角...

2020/07/15 10:41
178
OpenTSDB学习

简介 时序数据库 用来做监控很强大 比如: 安装部署 https://github.com/OpenTSDB/opentsdb/releases/tag/v2.4.0 下载解压 tar.gz 初始化表 env COMPRESSION=NONE HBASE_HOME=/hadoop/app/hb...

2020/07/12 10:52
2K
hbase学习

简介 数据存储模型及关系型数据库的区别 一般都是牺牲一致性, 最终达到最终一致性 HBase 概念 区别 基础架构 HBASE 原理和操作 写流程 预写入会写入HLog 里面, 通过HLog 来保证数据不丢失 ...

sqoop1入门

简介 下载安装 http://sqoop.apache.org/ https://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 在安装 目录bin下 ./sqoop help 连接mysql 需要 驱动包 cp m...

Hbase入门

Hbase 是什么 因此需要 Hbase 官网: https://hbase.apache.org/ 它能够随机, 实时大数据读写 几十亿行, 上百万列 运行在普通的机器上 开源,分布式,多版本(数据分版本),非关系型数据库...

hadoop入门2

Join在MapReduce中的实现 reduceJoin实现原理 ReduceJoin 数据通过Mapper加载过来,然后经过shuffle阶段,在Reduce端完成真正的join操作。 最基本的方式,是使用了shuffle的 例子: package ...

2020/07/09 19:45
74
sparkSQL与kudu学习

1. 架构图 版本 spark 特性 spark 生态 YARN 测试是否成功 启动 hadoop 所以 ./start_all.sh jps 查看 yarn 进程是否有 resourceManager , nodeManager 在 hadoop-2.6.0-cdh5.7.0/share/hado...

2020/07/08 20:09
1.8K
spring boot2.x spring data jpa 多数据源配置

1. spring data jpa + mybatis 如果是 多数据源 spring data jpa + mybatis , spring data jpa 作为主数据源 , mybatis 作为 从数据源。 可以参考 https://my.oschina.net/ouminzy/blog/32...

elasticsearch7 技术与服务器集群使用维护总结

入门教程 极客时间的《Elasticsearch核心技术与实战》 但是是收费的,可以看看我的笔记:https://my.oschina.net/ouminzy/blog/4264675 再考虑是否需要进一步去购买来学校。 该课程一旦比较新...

2020/05/09 14:27
3.1K
elastic stack elk 学习

filebeat 配置 filebeat output 配置 filebeat filter 配置 filebeat _ es ingest node filebeat module 收集NGINX log Packetbeat Logstash codec Logstash Beats 来自 https://time.geekb...

Elasticsearch7.1深入学习

1. elatic 工程师认证考试 如果有实力,可以去考,会对升值加薪还是有点帮助的 2. es 架构 生态圈 安装 jvm 配置 安装插件 使用 elasticsearch-7.1.0/bin 里面 elasticsearch-plugin 去安装插...

elasticSearch.yml 常用配置 以及 注意事项

#设置这个集群,有多少个节点有master候选资格,如果集群较大官方建议为2-4个 # es7 无须这个配置,会自己选择形成仲裁的节点 #discovery.zen.minimum_master_nodes: 2 # 集群名称 默认是 elas...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部