加载中
spark自定义分区及示例代码

有时自己的业务需要自己实现spark的分区函数 以下代码是实现一个自定义spark分区的demo 实现的功能是根据key值的最后一位数字,写到不同的文件 例如: 10写入到part-00000 11写入到part-0000...

2015/09/14 14:33
3.7K
scala使用多线程示例

写的一个scala多线程的小demo,以备后用

2015/09/06 15:17
1W
hbase-0.98整合hadoop-2.6,附java操作代码

cd /opt/hbase-0.98.13-hadoop2/conf vi hbase-env.sh export JAVA_HOME=/opt/jdk1.7.0_75 vi hbase-site.xml <!--设置hbase根目录,master为机器的hostname--> <property> <name>hbase....

2015/08/21 11:33
918
docker的安装及使用

环境centos7 //安装docker服务 sudo yum install docker  //启动docker sudo systemctl start docker.service //设置docker开机自动运行 sudo systemctl enable docker //将当前用...

2015/08/14 15:56
514
aerospike命令

//连接 aql -p 3000 -h 192.168.0.108 //显示所有命名空间 aql> show namespaces //显示所有集合 aql> show sets //显示所有字段 aql> show bins //查询信息 aql> SELECT * FROM bar.message...

2015/08/12 17:54
241
spark1.4.1配置及源码阅读

本博客基于spark-1.4.1-bin-hadoop2.6,spark内存计算、易于编写、可完全替代map/reduce、流式计算、机器学习,优点不要太多

2015/08/11 09:53
236
hadoop2.6 配置及优化思路

1.vi /opt/hadoop-2.6.0/etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/jdk1.7.0_75 2.vi /opt/hadoop-2.6.0/etc/hadoop/core-site.xml <property> <name>fs.default.name</name> <value>...

2015/08/11 09:49
340
git的技巧

1.下载代码 git clone 2.自己的项目加入到git进行管理 git init 3.添加当前所有文件 git add . 4.查看工作状态 git status 5.提交到本地,并添加注释 git commit -m “first” 6.推送到远程 ...

2015/08/10 11:08
12
spark技巧

平时使用spark的一些技巧总结

2015/08/10 10:36
367
mongo主从

主库 /opt/mongodb-linux-i686-2.6.5/bin/mongod --master --dbpath=/opt/mongodb-linux-i686-2.6.5/data --logpath=/opt/mongodb-linux-i686-2.6.5/logs/mongodb.log --logappend --journal...

2014/11/06 10:43
17
zookeeper的web图形界面

下面一切的前提是安装完nodejs 从 https://github.com/killme2008/node-zk-browser 上下载程序,进入node-zk-browser-master目录 执行如下命令来安装依赖包,如ejs,express,express-namespa...

2014/11/06 10:39
764
zookeeper3.3.6安装(zookeeper-3.4.6类似)

下载:zookeeper-3.3.6.tar.gz 解压扔到/opt目录下 [~]$ cd /opt/zookeeper-3.3.6/conf [conf]$ mv zoo_sample.cfg zoo.cfg [conf]$ vi zoo.cfg # The number of milliseconds o...

2014/11/06 10:38
126
hadoop1.1.2集成hbase-0.94.23

lib下拷贝hadoop的hadoop-core-1.1.2.jar文件,删除原来文件 hbase-env.sh export JAVA_HOME=/opt/jdk1.6.0_12/ export HBASE_MANAGES_ZK=false hbase-site.xml <?xml version="1.0"?>  ...

2014/11/06 10:30
65
hadoop1.1.2配置及启动

1.安装jdk,配置环境变量 下载地址:http://yunpan.cn/csUMbjpYd6LIU 提取码 8e1d 修改/etc/profile export JAVA_HOME=/opt/jdk1.6.0_12 export PATH=$PATH:$JAVA_HOME/bin 重启 2.下载hadoo...

2014/11/06 10:26
17
maven-shade-plugin打包可执行jar包及解决schema报错问题

org.xml.sax.SAXParseException: schema_reference.4: Failed to read schema document 'http://www.springframework.org/schema/beans/spring-beans-3.0.xsd', because 1) could not find t...

2014/11/06 10:17
110
使你的网站直接输ip就可访问

1.修改服务器配置文件指向你的项目 2.修改服务器端口为80

2013/03/21 20:37
37
史上最强《软件攻城师面试题》

风趣,涨见识了 -------------------------------------------------------------- 一,选择题(皆为单选): 1,以下谁是二进制思想的最早提出者? a,伏羲;b,姬昌;c,莱布尼茨;d,柏拉...

2013/03/20 16:54
29

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部