技能雷达

专长领域： 服务器端开发, 软件开发管理
开发平台： Java EE, Scala, Linux/Unix

Gitee 贡献

Gitee (gitee.com) 是 OSCHINA 推出的代码托管平台，支持 Git 和 SVN，提供免费的私有仓库托管。目前已有近 1000 万的开发者选择 Gitee。

Gitee 贡献 反映用户在 Gitee 上评论、Fork、Star、Push等操作的次数。

免费开通 Gitee

1
2
3
4
5
6
7

连击 天

fork: star:

博客数据统计

个人主页访问量：378222
博客总阅读量：625922
禁言：九州暮云

天
确定
取消
加载中
全部博文
165 全部博文 1 Airflow 8 多线程 4 kafka 1 项目笔记 1 设计模式 2 mac 6 scala 3 ElasticSearch 0 学习笔记 2 spring cloud 11 大数据 8 Impala 10 Hadoop 1 idea 2 httpclient 4 maven 2 unit test 3 案例 11 redis 3 spring 4 分布式 4 mongodb 6 spring boot 4 solr 20 java 15 jvm 10 mysql 3 git 16 linux
资讯 问答 评论
排序
按时间 按阅读量
创作历程
全部
2024年(1篇)
1 2024/11
2023年(1篇)
1 2023/04
2022年(3篇)
2 2022/05 1 2022/04
2021年(2篇)
1 2021/09 1 2021/06
2020年(7篇)
1 2020/10 2 2020/05 2 2020/03 2 2020/02
2019年(21篇)
4 2019/12 1 2019/10 2 2019/08 2 2019/07 2 2019/05 1 2019/04 2 2019/03 6 2019/02 1 2019/01
2018年(20篇)
2 2018/12 5 2018/09 4 2018/08 3 2018/07 1 2018/05 1 2018/04 3 2018/02 1 2018/01
2017年(49篇)
2 2017/12 2 2017/11 2 2017/10 12 2017/09 10 2017/08 2 2017/07 3 2017/06 1 2017/05 4 2017/03 4 2017/02 7 2017/01
2016年(43篇)
4 2016/12 3 2016/11 2 2016/10 2 2016/07 1 2016/06 1 2016/05 6 2016/04 10 2016/03 4 2016/02 10 2016/01
2015年(18篇)
18 2015/12
原
Hadoop NameNode、DataNode热迁移方案

最近我们生产环境的Hadoop集群需要调整几台服务器，具体转换关系如下： datanode92.bi -> namenode02.bi namenode01.bi（old) -> datanode19.bi namenode02.bi -> datanode20.bi 最终目标为：...

hadoopdatahdfshivenamenodejavaapachedatanodelocalnamenode02namenode01datanode92slaves
Hadoop
2019/03/12 21:15
6K
0
原
荐
ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析

环境 Hadoop版本：Apache Hadoop 2.6.3 ZooKeeper版本：ZooKeeper 3.4.10 两个ResourceManager节点：主节点RM01，从节点RM02 背景 最近有一次我们的Hadoop监控平台发出ResourceManager（以下...

yarnhadoopzookeeperfollowersession大数据serverapachejavastoreclassmaxbufferkhbase
Hadoop
2019/03/18 09:37
3.5K
3
原
ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析（三）

这个问题又让我们碰到了，发生次数不频繁但是一旦发生就会造成ResourceManager服务崩溃、ZK注册watch过多等问题。不彻底解决这个问题心中一直是个梗，所以基于前两次的分析和阅读社区最新版H...

yarnwatchhashmapapplicationzookeeperhadoop大数据hbasestore存储系统sparkgithub
Hadoop
2020/05/10 21:35
1.7K
7
原
HDFS 客户端读写超时时间解析

背景 前段时间我们Hadoop集群磁盘使用率比较高，部分硬盘空间使用超过了70%，这部分服务器的DataNode服务读写负载就比较高，造成部分数据同步任务因为读写超时而失败。具体场景和异常跟这篇博...

hdfsclienttimeouthadoopapachecore-namenodecommonserverpingdatanodeintervalfalsetrue
Hadoop
2020/10/25 11:32
1.7K
0
原
ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析（二）

时隔五个月（点击阅读前文），如标题所示的问题再次发生，本次由于我们大数据监控系统的完善，让我对该问题进行了更深一步的研究。以下是整个排查过程和解决方案： 一、问题说明 从8月8日早上...

yarnserverhadoopwatcherapachestoretimeoutrmstoreresourcemanagersupportplannode
Hadoop
2019/08/12 19:45
1.4K
0
原
优化ORC和Parquet文件，提升大SQL读取性能

本文编译自IBM开发者社区，主要介绍了HDFS中小的ORC和Parquet文件的问题，以及这些小文件如何影响Big SQL的读取性能，并探索了为了提高读取性能，使用现有工具将小文件压缩为大文件的可能解决...

parquetorchdfsbigsqlhivetoolshadoop分布式文件系统检查工具命令行工具
Hadoop
2019/10/07 15:39
1.1K
0
原
YARN任务监控界面Aggregate Resource Allocation指标解析

在YARN的原生任务监控界面中，我们经常能看到Aggregate Resource Allocation这个指标（图中高亮选中部分），这个指标表示该任务拥有的所有container每秒所消耗的资源（内存、CPU）总和： Ag...

yarnserverhadoopapacheaggregateresourceallocationschedulersynchronizedresourcemanager
Hadoop
2019/08/31 11:33
971
0
原
YARN Fair Scheduler批量分配功能调优总结

背景 YARN调度效率不高，队列资源充足，集群中正在运行的任务数量少，资源利用率低的情况下有一部分任务排队，等待分配资源时间长。 注：我们的集群使用的是Apache Hadoop 2.6.3，以下内容以...

yarnfair监控系统serverapacheheartbeathadoopschedulernodemanagerassigncontainer
Hadoop
2020/02/10 21:05
611
0
原
Hadoop技术资料汇总（不断更新中）

这些资料都是我在工作中学习、解决问题的资料汇总，我不能保证这里罗列的所有资料对看到的人有用，但大部分都经过我的实际验证。在不断学习和实践过程中，我会不断更新和总结这些资料，同时欢...

hadoopyarnhdfs大数据性能优化zookeeperflinkfreestylehighavailabilityandroidjava
Hadoop
2019/05/07 21:26
408
0
原
Spark SQL调优脑图

sparksql
Hadoop
2023/04/13 11:36
234
0

没有更多内容

加载失败，请刷新页面

没有更多内容

删除文章

文章删除后无法恢复，确定删除此文章吗？

取消
确定
删除动弹

动弹删除后，数据将无法恢复

取消
确定
删除一条评论

评论删除后，数据将无法恢复

取消
确定
返回顶部
顶部