加载中
CDH5.15安装

CDH5.15安装指南 1.集群规划 CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可...

2018/08/16 15:49
1.7K
cdh 卸载

CDH5.15卸载指南 在删除CDH前,注意要备份好数据。先备份或转移集群中的重要数据,在进行集群的卸载。像一些重要的用户数据,默认的存储路径是在/var/lib/下面,一些组件如HDFS/Impala/Kudu的...

2018/08/16 15:46
1.1K
flume_kafkaChannel_kafkaSink

agent.sources = source #抽取类型为目录 agent.sources.source.type = spooldir #抽取的文件目录 agent.sources.source.spoolDir = /root/tmp/flume/data #添加一个存储绝对路径文件名的头 ...

2018/04/17 15:13
291
flume 随记

#jdk-8u111-linux-x64 export JAVA_HOME=/usr/local/jdk1.8.0_111 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$...

2018/04/17 15:12
71
ssh_flume_zookeeper_kafka 安装

ssh 免密码登录 ssh-keygen -t rsa scp -p ~/.ssh/id_rsa.pub root@master:/root/.ssh/authorized_keys scp -p ~/.ssh/id_rsa.pub root@slave1:/root/.ssh/authorized_keys scp -p ~/.ssh/id...

2018/04/17 15:09
44
impala 随记

#修改分隔符 alter table DB.TABLE set SERDEPROPERTIES('field.delim'='\001'); #查看建表语句 show CREATE TABLE DB.TABLE #修改字段类型 ALTER TABLE DB.TABLE CHANGE hive_count_num hiv...

2018/04/17 14:41
441
kafka 随记

1.查看版本兼容问题 https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka 2.下载CSD包KAFKA-1.2.0.jar http://archive.cloudera.c...

2018/04/17 14:30
130
cm 升级

1. 下载cm和cdh安装包 http://archive.cloudera.com/cdh5/parcels/5.13/ http://archive-primary.cloudera.com/cm5/redhat/6/x86_64/cm/5.13.0/ 下载之后替换yum之前版本的镜像,可参考cdh安...

cm
2018/03/19 20:57
147
cdh安装

cloudera manager 安装cdh

2018/03/19 20:56
66
readme.txt

游戏图片name,id,score识别

2018/02/15 15:33
47
pase.py 解析文字中包含的成语

# -*- coding: UTF-8 -*- # tanj # 2018-01-15 import ConfigParser import MySQLdb import pandas as pd config = None # get config def getConfig(): global config if confi...

2018/01/16 21:20
8
建立成语库

Python 抓取成语库

2018/01/16 21:18
345
stock 信息抓取

1.所属市场: sz,sh sz全部股票信息抓取接口(eastmoney):http://quote.eastmoney.com/stocklist.html#sz sh全部股票信息抓取接口(eastmoney):http://quote.eastmoney.com/stocklist.html...

2017/12/07 19:32
721
cm 升级

1. 下载cm和cdh安装包 http://archive.cloudera.com/cdh5/parcels/5.13/ http://archive-primary.cloudera.com/cm5/redhat/6/x86_64/cm/5.13.0/ 下载之后替换yum之前版本的镜像,可参考cdh安...

2017/10/20 16:14
106
CDH 5.11安装

1. 挂载系统ISO,获取linux系统文件及安装包 [root@cre2 home]# chkconfig --level 2345 iptables off [root@cre2 home]# mkdir /mnt/cdrom [root@cre2 cdrom]# mount -o loop /home/CentOS-6...

2017/10/20 15:38
80
ldap 创建用户和组

1.为每个新的用户创建个LDIF文件 #cat zhouly.ldif dn:uid=zhouly,ou=People,dc=prod,dc=hadoop,dc=feidai,dc=com objectClass:account objectClass:posixAccount objectClass:top objectCla...

2017/09/30 09:50
3.8K
impala 创建udf MD5函数

package com.netease.hive.udf; import java.security.MessageDigest; import org.apache.hadoop.hive.ql.exec.UDF; public class MD5UDF extends UDF { public static String evaluate(Stri...

2017/09/28 16:42
4.6K
sqoop import

sqoop数据导入工具import: sqoop数据导入hdfs和hive没什么区别,导入hdfs就是把数据按行一行一行地写入hdfs文件系统, 导入hive表,类似于在hdfs上有一个网格,按网格的指定一个个去存放,网...

2017/09/27 15:50
665
mysql 导入hive的脚本

#!/bin/bash #tanj #2017-09-11 DATE=`date +%Y-%m-%d` TIME=`date +%H:%M:%S` echo "$DATE $TIME-----------------start-----------------" if [ ! -n "$1" ] ;then echo "#you have not in...

2017/08/29 10:51
43

没有更多内容

加载失败,请刷新页面

返回顶部
顶部