加载中
hive UDF 分享 通过IP地址获取 IDC/省份/城市

hive UDF 分享 通过IP地址获取IDC//省份/城市的信息

利用Hadoop 根据IP地址进行地域统计

最近一直在做地域统计的功能,用户下载app的日志中记录了IP,老大要根据这个IP做个地域统计,看看哪些地方的用户喜欢下载哪些应用。最初是用Java跑纯真IP地址数据库,然后对日志进行统计,不...

【转】Hadoop源码浅析——Job提交相关

原文地址:http://blog.csdn.net/andyelvis/article/details/7706205 Configuration类是用来访问hadoop的配置参数的。 Configuration类首先会通过静态代码段加载hadoop的配置文件core-defaul...

2014/03/11 19:25
177
Python 简单的统计基类,同名变量和字符串的使用

Python 简单的统计基类,同名变量和字符串的使用,eval和exec

python获取系统命令的返回值 | curl in python

项目背景: 通过curl 命令 从服务器获取数组,tids,然后导入到Mysql 表中。 自己想的方案: shell命令不熟悉,另外python中的数据库等接口都已封装,所以想使用Python来做,利用Python调用s...

2013/09/07 23:05
9.2K
【转】你会做Web上的用户登录功能吗?

Web上的用户登录功能应该是最基本的功能了,可是在我看过一些站点的用户登录功能后,我觉得很有必要写一篇文章教大家怎么来做用户登录功能。下面 的文章告诉大家这个功能可能并没有你所想像的...

2012/01/29 18:12
152
CXF学习小结

参考文章:http://www.ibm.com/developerworks/cn/education/java/j-cxf/index.html 主要是写给自己看的: 1.创建一个接口,Ixxx;然后创建xxx类实现此接口,接口和实现类都用@WebService标记...

2011/12/01 16:36
139
关于开源项目《Scavenger》

开源项目《Scavenger》简介。 Scavenge中文名清道夫,名字就是来源于清道夫鱼。负责Hadoop集群中Job的监控,清洗和报告。

GoogleMap api v3开发总结

项目描述:某快餐连锁在上海有11家分店,要求就是找到这11家分店的坐标,然后在地图上将其全部以自定义的图片方式显示出来,在鼠标移动到某个图片上显示这家店的具体地址。 1.取坐标。用Goo...

统计 YARN 提交任务的Hostname 分布

做集群规划的时候,有一点非常必要的就是一定要知道都是哪些机器在向yarn提交任务,这样如果需要做配置上的调整,可以进行统计调整。另外也可以很清楚的知道是哪些业务在使用hadoop 计算数据...

2015/07/06 17:44
94
POI 学习总结

最近做的模块需要一个导表的功能,以前也没使用过POI,所以写一个简单的学习总结,又错误的话欢迎各位大牛指正! 需求描述:调查问卷模块提供的调查结果下载,在项目中使用一个execel模版。 ...

2012/02/01 11:24
129
【转】osworkflow教程

写的很详细,收藏的! ------------------------------------------------------- 接口选择: osworkflow提供几种实现com.opensymphony.workflow.Workflow接口的类。 BasicWorkflow: 不提供...

2011/11/07 15:57
590
【转】左右值无限分类实现算法

一、引言 产品分类,多级的树状结构的论坛,邮件列表等许多地方我们都会遇到这样的问题:如何存储多级结构的数据?在PHP的应用中,提供后台数据存储的通常是关系型数据库,它能够保存大量的数...

2011/11/01 14:19
197
spring mvc+mybatis多数据源的配置和使用

3.6工作日志: 1.因为开始并不知道需要多个数据源,所有就是单纯的用的Mysql。 <context:annotation-config /> <context:component-scan base-package="com.test"/> <bean id="...

【转】Spring注解讲解

文章转载自:http://hanyexiaoxiao.iteye.com/blog/410123 1. 使用Spring注解来注入属性 1.1. 使用注解以前我们是怎样注入属性的 类的实现: public class UserManagerImpl implements User...

2012/03/05 13:45
150
【转】python 调试工具 pdb的使用

python 调试工具 pdb的使用介绍

2014/04/28 15:54
200
成也萧何,败也萧何---PIG JOIN 的replicated

'''一句话总结:PIG 在2个表JOIN的时候,如果使用Using 'replicated' 会将后面的表分段读到内存中,从而加快JOIN的效率。但是如果load 到内存的数据超过JVM的限制就会报错==> java.lang.Out...

Apache Sentry 第一弹:Server启动、连接Hue、分组详解

关于sentry的配置,启动,连接hue,以及中间遇到的坑(分组、数据库)

hive 常用小技巧

平常用的一些东西,懒得整理了,先这么着吧、

2014/05/12 19:30
2.4K
Hive 数据导入HBase的2种方法详解

Hive数据导入到HBase基本有2个方案: 1、HBase中建表,然后Hive中建一个外部表,这样当Hive中写入数据后,HBase中也会同时更新 2、MapReduce读取Hive数据,然后写入(API或者Bulkload)到HBa...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部