加载中
DataX源码解析与插件开发

DataX源码解析与插件开发 DataX是个啥 框架设计 源码下载与工程编译 Job&Task概念 物理运行模型 源码解析(不包括重入锁和有界阻塞队列) 插件开发和调试 插件部署 数据接入平台使用 简介 作业...

09/27 16:09
9
Hbase数据迁移方案实践

hbase数据在集群之间迁移的三种方案如上图所示 其中hbase原生工具支持在hbase层面和hdfs层面的hbase表数据迁移 1.在hdfs层面 distcp是直接迁移hbase表在hdfs上底层的文件路径下的文件 hadoop...

数据库表设计与前端交互细节

1.对于类型字段最好不要使用tinyint类型,只用 0,1来标识某种业务类型,并用boolean类型去接收,这样做不利于后续义务扩充,特别是产品开发的前中期,产品设计不稳定的情况下;并且在业务扩充...

06/11 09:16
11
Graphx处理janusGraph数据实现

声明: 此方案是在spark直接执行gremlinSQL方案实现受阻的情况下的备选方案,不涉及工作机密,不存在泄密可能,纯属个人思考,希望抛砖引玉 方案: 将gremlinSql的查询结果转化为startGraph,...

proguaid混淆maven工程问题总结

1.下载完代码之后,执行maven updateproject,否则打包有可能会有问题 2.加入proguard混淆配置之后,proguard混淆的时候回去找所有的第三方jar包路劲,并加入到classpath中,依赖的jar过多,...

2018/12/27 17:33
27
Proguard+Maven混淆java web项目

这里用到的是常用配置,更多详细配置方法和参数信息见官网:https://www.guardsquare.com/en/products/proguard/manual/usage#keepoptions 1. proguard常用关键字 dontshrink 不压缩 dontop...

2018/12/20 15:11
177
CentOS误删glibc恢复

1. 虚拟机进去bios,将CD-ROM Drive设置为第一启动项 2. 加载镜像文件,进入救援模式 3. 默认选项 4. 继续选择 5. 选择默认 6. 选择shell编辑模式 7.创建media目录,并将光盘挂载到此目录 步...

2018/11/27 15:51
53
KYLIN访问远程hive和hbase环境

KYLIN访问远程hive和hbase环境 思路:在kylin服务器上配置所需环境的client;包括hadoop,hive,hbase 准备远程hadoop集群,hive环境,hbase环境的配置文件,替换掉对应客户端的配置文件。 ...

Centos7安装greenplum遇到的问题

Centos7安装greenplum遇到的问题 问题1:gpcheck的时候xfs文件系统报错 20180725:09:02:10:002498 gpcheck:bigdata-3-22:hahahahah-[INFO]:-dedupe hostnames 20180725:09:02:10:002498 gpch...

2018/07/26 12:31
481
Mondrain支持kylin问题解决

Mdx select {[MEASURES].[UNITPRICE],[MEASURES].[NUMBER]} on columns, {[CUSTOMER].[GENDER].members} on rows from saleinfo 问题 问题1: mondrian转换过来的sql kylin不支持:Cartesian...

2018/07/10 19:38
254
Kylin 设置邮件报警、用户管理和自定义数据源切换

Kylin 设置邮件报警、用户管理和自定义数据源切换 任务报警邮件设置 在Apache Kylin中,构建一个Cube往往至少需要花费几十分钟的时 间。因此,当一个Cube构建任务完成或失败时,运维人员常常...

2018/07/06 19:54
122
Kylin设置JDBC配置greenplum数据源

Kylin设置JDBC配置greenplum数据源 kylin最开始的时候支持hive和kafka作为数据源,从2.3.0版本之后开始支持JDBC作为第第三种数据源。用户可以自定义的数据库或者数据仓库到自己的kylin集群。...

Kylin集群部署和cube使用

Kylin集群部署和cube使用 安装集群环境 节点 Kylin节点模式 Ip 内存 磁盘 Node1 All 192.167.71.11 2G 80G Node2 query 192.168.71.12 1.5G 80G Node3 query 192.168.71.13 1.5G 80G Kylin工...

MDX对filter函数对维度进行过滤的使用说明

查看维度的信息,需要使用维度name.currentmember.name/value 进行过滤的时候,需要考虑filter作用域的问题,第一个参数一定要包含cube的一个切块,也就是至少包含两个level,这样filter才会...

2018/06/27 10:32
48
GP两种连接方式性能测试

GP两种连接方式性能测试 Pivotal import java.sql.Connection;<...

Tpc-h测试greenplum性能

Tpc-h测试greenplum性能 集群环境 主机名 ip 内存 磁盘 Node1 192.168.71.11 2G 80G Node2 192.168.71.12 1.5G 80G Node3 192.168.71.13 1.5G 80G 首先一点忠告:tpch不要到官网下,下不下来...

Greenplum 三节点安装教程(非root用户)

Greenplum 三节点安装教程(非root用户) 环境准备 安装vmware,装三台centos

Ignite的jdbc与网格的连接方式的查询性能对比

环境: 数据量100万 Ignite2.5 Windows10 8g

2018/06/20 19:19
54
ignite自定义函数

Ignite自定义函数注意事项 Customer SQL Function 首先,需要写自定义SQL函数的java类。 注意:1. 定义函数的方法必须是静态的static修饰。 2. 自定义函数的方法不能重载。 3. 每个方法必须要...

2018/06/11 12:15
29
Hive-2.1.1安装教程

Hive2安装详解 1. 解压hive安装包 Tar -zxvf apache-hive-2.1.1-bin.tar.gz 2. 安装mysql,使用yum命令自动安装 将mysql的connector到hive的lib目录下 启动MySQL,service mysqld start 修改...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部