加载中
sqoop 导入数据 全库导入 创建job,实现定时增量导入

先从功能简单的开始介绍, sqoop导入单个表到hive: sqoop import \ --connect jdbc:mysql://192.168.49.214:3306/mysqlcdc --username root \ --password 123456 \ --table data \ --hive-i...

01/08 15:29
464
canal配置说明

################################################# ## mysql serverId , v1.0.26+ will autoGen # canal.instance.mysql.slaveId=0 #canal伪装的mysql slaveId,不要重复即可 canal.instan...

2020/12/18 11:44
656
guava-r09-jarjar.jar下载

mavenrepository下载地址:https://mvnrepository.com/artifact/org.apache.hadoop.thirdparty.guava/guava/r09-jarjar 但是报错 我这是开了vpn的,一样报错,pom文件无法加载,只能自己下载...

hbase的sql解决方案——phoenix初尝试,从入门到放弃

最近的需求是希望能用mysql、sqlserver这样的sql来进行hbase的数据查询,这样不但查询比起hbase自带的查询语言更符合使用习惯,也能够整合mybatis、hibernate的框架,写起来不用考虑这么多。...

2020/12/02 14:46
381
kafka connector 监听sqlserver 新手尝试

之前拿canal监听mysql的binlog并将消息递给kafka topic,但是canal只能监听mysql,假如数据库是sqlserver\orcale\mongodb那么完全无能为力.看了一下网上的资料,主流是用kafka connect来监听sql...

2020/10/27 10:23
5.1K
canal 1.1.4集群安装并监听mysql表的变动

需求是要能够实时监听数据库表的变动,动态获取。采用的方法是canal+kafka动态队列建立websocket。之前安装的canal是在apache集群上的,这次需要安装在CDH集群上面,遇到不少问题。这里把过程...

2020/09/28 15:39
572
CDH-cloudera-manager遇到的问题和命令

一些在工作中遇到的问题和命令,记录下来: 1.Host Monitor未运行。这个错误很常见,一般是有什么服务没启动。多数情况重启就好了,假如还有问题就要检查配置,甚至重新安装CDH。 2.修改主机...

2020/09/25 13:41
867
mysql导出指令

帮朋友查了一下mysql如何将数据导入到txt文件中,语句如下: SELECT * FROM DATABASE.TABLE WHERE condition_ INTO OUTFILE 'D:\table.txt'; 路径可以自己换,但是在运行的时候可能会报错 Th...

2020/09/18 13:33
17
hive 常用命令

hive //进入hive show databases; //查看所有数据库名称 show create database/schema databasename; //查看创建数据库命令 create schema databasename comment '你的数据库注释'; //创建数...

2020/08/28 16:39
74
hadoop-eclipse-plugin-2.x.x 插件安装

window环境下开发使用hadoop,方便调试, Hadoop 提供了一个 Eclipse 插件以方便用户在 Eclipse 集成开发环境中使用 Hadoop,如管理 HDFS 上的文件、提交作业、调试 MapReduce 程序等。 地址...

jdk1.7报错@annotation pointcut expression is only supported at Java 5 compliance level or above

error the @annotation pointcut expression is only supported at Java 5 compliance level or above报错,意思很简洁,就是说jdk版本太低。我当时jdk用的是1.8,看到之后修改成1.7发现依然...

2019/12/11 10:14
1.5K

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部