加载中
几种大数据ETL工作流调度系统的介绍和对比

几种大数据ETL工作流调度系统有哪些呢 1. 什么是ETL工作流系统 做过ETL的同学都知道,我们在处理数据的时候往往都是分成好几个任务步骤来完成一个数据处理流程。多个任务单元之间往往有着强依...

书单

编程玑珠 算法导论 深入理解计算机系统 七周七并发模型

2015/05/02 00:35
43
庆祝 Apache基金会 21周年

热烈庆祝Apache基金会成立21周年,这个世界上最大的开源组织成就许多伟大的开源项目。 可以说现在互联网科技界大部分公司都在使用apache组织的开源软件,特别是大数据领域 出现了许多顶级项目...

03/26 23:03
31
taox的博客

taox的博客:https://herden.gitee.io/

02/20 11:05
109
这 17 个 JVM 参数,高级 Java 必须掌握!

前言 大家都知道,jvm在启动的时候,会执行默认的一些参数。一般情况下,这些设置的默认参数应对一些平常的项目也够用了。 但是如果项目特别大了,需要增加一下堆内存的大小、或者是系统老是...

02/13 22:54
82
发生Out Of Memory的几个情况

Java 堆空间 发生频率: 5颗星 造成原因 无法在 Java 堆中分配对象 吞吐量增加 应用程序无意中保存了对象引用,对象无法被 GC 回收 应用程序过度使用 finalizer。finalizer 对象不能被 GC 立...

02/13 22:28
87
怎样向azkaban贡献代码

怎样向azkaban贡献代码? Fork 工程, clone 你的工程, 以及设置追踪远程源项目 $ git clone git@github.com:<your-username>/azkaban.git $ cd azkaban $ git remote add upstream git@gith...

2019/03/09 19:18
39
如何向apache project 做贡献 ?

相关文章如下: https://mp.weixin.qq.com/s/7uotoQfqUezLzaABJPR9Zg https://mp.weixin.qq.com/s/U0qQ3zhe3A7zcfhq3wqQ_Q......

2019/02/26 17:05
58
解决NoclassDefFoundError 打印一个类的java路径

有时候我们改了一个类代码,发现测试环境没生效,这时可能有类冲突的情况,我们可以打印一个类的加载路径来查看 DataType.class.getProtectionDomain().getCodeSource().getLocation()......

2019/01/04 17:19
12
presto row_number() 和 rank()

select * from (select clue_id,vin_encrypt,create_time,sale_type,row_number() over(partition by vin_encrypt order by create_time asc) rank from xxx_dw_dwb.dwb_cars_source_day whe...

2018/12/18 16:47
3.8K
sqoop 从mysql 导入数据到hive ,mysql表字段以下划线开头报错

错误如下: Error: java.lang.NullPointerException at org.apache.hive.hcatalog.data.schema.HCatSchema.get(HCatSchema.java:105) at org.apache.sqoop.mapreduce.hcat.SqoopHCatImportHe...

hive 执行SQL异常

如下: 01, 2018 9:06:33 下午 org.apache.calcite.runtime.CalciteException <init> 严重: org.apache.calcite.runtime.CalciteException: Failed to encode '车主自愿发起' in character ...

hive on tez map join bug

现象: 一个hive SQL:在 root.queue1 和 root.queue2 执行出来的结果不一样 。 select count(clue_id),count(distinct clue_id) from xxx1 left join xxx2 原因: hive 默认开启了 map join...

2018/12/01 23:11
1.5K
top命令

top除了看一些基本信息之外,剩下的就是配合来查询vm的各种问题了 ps -ef | grep java top -H -p pid top 运行中可以通过 top 的内部命令对进程的显示方式进行控制。内部命令如下: s – 改变...

2018/11/21 11:23
94
sqoop job用法

创建JOB sqoop job -D mapreduce.job.queuename='root.bi' --create xt_test_job -- import --connect jdbc:mysql://xxxx:3306/test?tinyInt1isBit=false --username xxx --password xxx --t...

一次线上JVM FullGC 问题的查找

一、问题 线上服务出现响应变慢好像挂了的问题,登上服务器查看 top,查看到java进程cpu 100% mem占用很高。用 jstat -gcutil 23658 1000 查看,发线jvm在做fullgc,于是马上修改nginx切换到...

2018/04/13 18:24
1K
airflow安装

1、安装 pip install apache-airflow -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com 用豆瓣镜像,默认的镜像报错...

2018/04/11 14:27
76
源码分析Java集合框架系列-Java集合框架综述

本系列文章将主要从源码角度分析和讲解Java集合框架的主要架构,各个类的实现和用法。一来可以帮助Java初学者更新的掌握Java集合类,二来可以让自己重新审视这些类的实现细节有助于提高自己的...

2018/01/28 22:10
100
git tag

git 的tag的作用 tag的相关操作 http://yijiebuyi.com/blog/eacf4d053fad77affffae397d9af7172.html http://blog.sina.com.cn/s/blog_157abb48f0102wjcw.html...

2017/10/28 11:39
46
.gitignore 添加后无效的解决办法

在工程中很容易出现.gitignore并没有忽略掉我们已经添加的文件,那是因为.gitignore对已经追踪(track)的文件是无效的,需要清除缓存,清除缓存后文件将以未追踪的形式出现,这时重新添加(ad...

2017/10/19 20:20
76

没有更多内容

加载失败,请刷新页面

返回顶部
顶部