加载中
基于搜狗微信的爬虫知识总结

webdriver chrome国内下载地址 http://npm.taobao.org/mirrors/chromedriver/ 禁止图片加载 设置参数禁用 // 禁用图片加载 HashMap<String, Object> images = new HashMap(); images.put("im...

LDAP安装指南

LDAP介绍 轻型目录存取协定(英文:Lightweight Directory Access Protocol,缩写:LDAP,/ˈɛldæp/)是一个开放的,中立的,工业标准的应用协议,通过IP协议提供访问控制和维护分布式信息...

2017/07/19 09:38
223
spark Transformations & Actions

spark的Transformations和Actions说明和例子

2017/03/09 14:19
83
hive SQL Standard Based Hive Authorization 权限自定义(二)

针对hive SQL Standard Based Hive Authorization 权限自定义中修改源码的行为,现给出一种外部的非修改源码的方式解决,降低耦合和更新hive版本的成本...

2017/03/07 16:42
1.1K
java并发编程

对Java 7 并发编程指南中文版 学习总结的笔记 方便以后回忆总结

2017/03/07 16:10
9
hive JDBC 进度和日志查看

hive的JDBC提供了java连接hiveserver2查询的能力,但是hive JDBC有别于关系型数据库,一个查询语句可能要在十几分钟到几十分钟才会返回结果,而hive JDBC并不会实时显示进度和日志,这样在查...

2016/07/04 18:00
1.1W
Spring AOP pointCut target与this详解

在使用Spring时对于target和this的区别,官网和网上的文章均未说明清楚这两者的区别,故详细使用并测试一下。 定义 this:切点判断时,判断的是代理类本身是否符合条件。 target:切点判断时...

04/22 14:56
31
tomcat高可用尝试

背景 需要实现tomcat的高可用,任意一台tomcat宕机,不影响整体运行。 方案要点 对外需要只暴露一个地址,对内需要负载均衡的连接多个tomcat。 tomcat宕机后,需要自动剔除连接 不同tomcat切...

04/07 16:30
9
tomcat高可用尝试

背景 需要实现tomcat的高可用,任意一台tomcat宕机,不影响整体运行。 方案要点 对外需要只暴露一个地址,对内需要负载均衡的连接多个tomcat。 tomcat宕机后,需要自动剔除连接 不同tomcat切...

2018/12/07 11:26
1.4K
Junit System.exit测试的问题

现象 在用junit做一个功能方法的时候,发现调用完功能方法后,后面的Assert断言根本就没有执行,junit测试用例既不显示红色的失败状态,也不显示绿色的通过状态,而是呈现出一种中途退出的现...

2018/02/13 12:28
1K
mysql引擎与jdbc事务回滚

背景 最近在搭一个SSH框架的时候,测试hibernate + spring声明式事务的时候死活回滚不成功,反映的现象是不管抛出RuntimeException还是spring tx自己的DataAccessException都无法将已经插入的...

2018/02/12 14:58
138
spark 共享变量

整理自《spark官方文档中文版》

2017/03/09 15:37
42
spark rdd 持久化

整理自《spark官方文档中文版》

2017/03/09 15:36
36
ntp组件安装(集群时间同步)

NTP是网络时间协议(Network Time Protocol),它是用来同步网络中各个计算机的时间的协议。linux中可以配置ntp时间同步服务器,达到集群各个机器时间同步的目的。时间同步在分布式系统中尤为重...

2017/01/05 13:33
677
hadoop fair scheduler 的坑

hadoop中配置公平调度器之后碰到的问题记录,公平调度器的配置和介绍参见 http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-fair-scheduler/ http://hadoop.apache.org...

2016/12/30 14:19
469
hadoop2 Mappers and Reducers 内存设置

hadoop2使用了yarn作为资源管理之后,对于map和reduce的内存设置有了一定的变化,下面以自己的思路总结一下。本文参考自 https://documentation.altiscale.com/heapsize-for-mappers-and-red...

2016/12/29 14:21
4.7K
本地yum源搭建(包括httpd安装)

本地yum源搭建(包括httpd安装) 适用于服务器与外网隔离,或与外网连接速度慢,要使用yum安装某些包的情况。 CentOS本地源安装 1、下载CentOS的安装文件 从 http://vault.centos.org/ 下载与...

2016/12/23 17:30
2.4K
Hadoop中的ProxyUser

本文为转帖,原文地址为 http://www.bigcloud.online/?p=154 该文章很详细的描述了PROXYUSER的原理,流程,应用场景和配置,非常的全面和详细。 PROXYUSER介绍和应用场景 Hadoop2.0版本开始支...

2016/12/16 09:43
1W
hadoop 开发环境搭建

#hadoop 开发环境搭建 (ubuntu + idea ) @(hadoop笔记)[idea|开发环境] 基于ubuntu 和 idea 搭建 hadoop开发环境,其实是搭建MR的开发环境。这里简单说一下为什么采用idea,就因为一点,i...

2016/12/13 17:27
212
hive SQL Standard Based Hive Authorization 权限自定义

hive 0.13之后,hive的授权方式引进了SQL Standard Based Hive Authorization,该授权方式直接从sql语法级别进行权限的控制,更加的准确和高效。 SQL Standard Based Hive Authorization中的...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部