文档章节

文件解析中间件,用SQL去读取各种格式的文件!

无毁的湖光-Al
 无毁的湖光-Al
发布于 2017/01/06 20:53
字数 627
阅读 164
收藏 1

Rider 文档解析中间件

用SQL解析文件

(1)完全支持MySql协议
(2)完全支持Mybatis-Generator
(3)支持Schema和Table
(4)支持客户端创建Schema和Table
(5)支持常用select语句where,condition,行运算等
(6)支持视图功能,即用旧表的SQL定义新表
(7)支持各种文件格式(各种分隔符分割,Xlsx)

QQ群

608733920

##启动

git clone https://github.com/alchemystar/Rider.git
mvn clean package
cd target && tar zxvf rider.tar.gz
cd ./bin
sh start.sh

配置文件,在./conf中

<database>
    <port>8090</port> <!--server 端口号-->
    <user>pay</user> <!--server 用户名-->
    <pass>123123123</pass> <!--server 密码-->
    <schema>  <!--schema定义-->
        <name>test</name> <!--schema名称-->
         <table>
            <sql> create table if not exists t_view (id BIGINT comment 'id view',nameExtension VARCHAR comment 'name extension')Engine='archer',Charset='gbk'
            </sql>
            <!--这是一个视图表,其表内容为下面的viewSql的执行结果-->
            <viewSql> select a.id*1000,a.name||b.extension,a.id from t_archer as a join t_archer as b where a.id=b.id </viewSql>
        </table>
        <table> <!--表定义-->
            <sql> <!--表定义sql-->
                create table if not exists t_archer( id BIGINT comment 'id test ', name VARCHAR comment 'name
                test',
                extension VARCHAR comment 'extension' )Engine='archer' SEP=',' SKIPWRONG='false' comment='just for test'
            </sql>
            <skipRows>3</skipRows> <!--忽略掉前skipRows行-->
            <pathPattern>/Users/alchemystar/tmp/rider/rider_%d{yyyy-MM-dd}.txt</pathPattern> <!--当前表对应的文件地址,可用时间格式渲染-->
        </table>
    </schema>
</database>

使用

直接连接 mysql -upay -p123123123 -P8090 -h127.0.0.1
jdbc连接 jdbc:mysql://127.0.0.1/test?user=pay&password=MiraCle

创建表

create table if not exists t_archer( 
 id BIGINT comment 'id test ', 
 name VARCHAR comment 'name test',
extension VARCHAR comment 'extension' )
Engine='archer' SEP=',' Charset='gbk' SkipWrong='false'  comment='just for test'

Engine=archer 默认引擎,即默认以换行符和分隔符来组织文件的结构
SEP=',',可以指定当前文件用哪种分隔符来分隔
Charset='gbk',指定当前文件的编码格式
SkipWrong='false' false:文件某一行列数和定义列数不匹配,则报error|true,忽略当前行

配置表对应的文件路径

session内配置:

set table_path="t_archer:/home/work/archer.txt" 

配置文件内配置:

<pathPattern>/Users/alchemystar/tmp/rider/rider_%d{yyyy-MM-dd}.txt</pathPattern> <!--当前表对应的文件地址,可用时间格式渲染-->

视图配置,viewSql可以是任意sql(可以用视图再次创建视图):

 <viewSql> select a.id*1000,a.name||b.extension,a.id from t_archer as a join t_archer as b where a.id=b.id </viewSql>

查询表

(1)支持*符

select * from t_archer; 

(2)支持行运算

select (id+1)*6,name||extesion,extension from t_archer;

(3)支持where condition

select * from t_archer where (id >1 and extension='rider') or (extension='archer')

(4)支持设置字符集

set names gbk;

(5)支持两表join

select a.id,b.id from t_rider as a join t_archer as b on a.id=b.id where id>1;

© 著作权归作者所有

无毁的湖光-Al

无毁的湖光-Al

粉丝 391
博文 29
码字总数 48025
作品 0
浦东
后端工程师
私信 提问
alchemystar/Rider

Rider 文档解析中间件 用SQL解析文件 (1)完全支持MySql协议 (2)完全支持Mybatis-Generator (3)支持Schema和Table (4)支持客户端创建Schema和Table (5)支持常用select语句where,condition,行运...

alchemystar
2017/03/23
0
0
Mysql跨机房同步方案

假设现有两个机房,需要做到数据同步。 以下是架构图(实际架构图根据现有机房架构和实际会比下图复杂,但整体思路不变): Mycat、Canal、Otter是关键的三项技术: Mycat:数据库分库分表中...

尚浩宇
2016/05/19
3.5K
0
分布式数据源访问与集成中间件--OGSA-DAI

OGSA-DAI分布式数据源访问与集成中间件包含的工作流引擎能够完成数据资源的访问、更新、传输、联合与交付工作。 最新的4.0版本新增特性如下: 增加OGSA-DAI SQL Views组件,能够与数据库视图...

匿名
2010/08/10
1K
0
自己动手——让Less支持中文编码

源Blog链接:http://home4j.duapp.com/index.php/2014/05/25/diy-a-less-with-multi-encoding-support.html Node近几年发展得非常迅猛,但还是有些小缺憾,比如对中文编码的支持。由于底层A...

joshuazhan
2014/05/26
2.8K
0
koa框架会用也会写—(koa-view、koa-static)

Koa中常用的中间件: koa-session:让无状态的http拥有状态,基于cookie实现的后台保存信息的session koa-mysql:封装了需要用到的SQL语句 koa-mysql-session:当不想让session存储到内存,而...

大灰狼的小绵羊哥哥
2018/10/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
今天
6
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
今天
7
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
今天
5
0
OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
1K
11
MongoDB系列-- SpringBoot 中对 MongoDB 的 基本操作

SpringBoot 中对 MongoDB 的 基本操作 Database 库的创建 首先 在MongoDB 操作客户端 Robo 3T 中 创建数据库: 增加用户User: 创建 Collections 集合(类似mysql 中的 表): 后面我们大部分都...

TcWong
今天
40
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部