文档章节

mongodb备份-mmb使用说明和如何导出更可读的csv

i5ting
 i5ting
发布于 2015/08/23 23:26
字数 1206
阅读 58
收藏 5

mongodb备份和导出csv

mongodb备份方式有三种

  • 文件快照方式
  • 复制数据文件方式
  • 使用mongodump方式

原理

mongodb的简单备份一般使用mongoexport即可,只要你装了mongodb就有的命令,上面说的其他方式适合dba,而非程序员

基本用法

mongoexport -d xxx-db -c activities -o activities.csv

说明

  • -d 指明数据库是哪个
  • -c 说明collection名字
  • -o 是输出的文件名称

其实还有jsonArray,query等其他高级用法,尽在

mongoexport --help

帮助文档里。

全库备份

之前的做法是写一个shell脚本,把上面的每一个collection拷贝一行,然后crontab定时去执行

如果collection太多呢?真是又臭又长。。。

如果再加个日志,如果再xxx

那感觉才叫一个刺激。。。

以上是我写mmb的动机

现在说说我的解决方案,即mmb

mmb是神马?

mmb是moa mongodb backup,很直白的说它是备份mongodb数据的。

readme里我是这样写的

mmb = moa mongodb backup, backup data to a dirname that generated by momentjs's date format

它可以根据配置项里的dirname选项,按照时间去生成目录,也就是说我想按照天去备份,就写成

"dirname":"YYYY-MM-DD"

我想按照秒备份

"dirname":"YYYY-MM-DD HH:mm:ss"

特性

  • 支持linux和mac(严格的说,支持shell的都可以)
  • 纯nodejs写的模块,提供cli,可以简单实用
  • 支持配置文件
  • 支持多个实例
  • 支持crontab,使用简单

Install

[sudo] npm install -g mmb

Usages

第一步初始化一个配置文件,执行

mmb init

此时,用任何编辑器打开mongo.config.json,按需要修改里面的配置文件即可,然后就可以备份数据了:

mmb

会读取当前目录下的mongo.config.json文件,根据文件内的配置信息,备份全部数据到指定目录。

配置文件说明

当执行 mmb init, 会创建mongo.config.json文件,它就是mmb的配置文件

mongodb服务器配置项

  • "host": 127.0.0.1
  • "port": 27017
  • "db": database name

备份数据目录名称配置项

说明:

"dirname":"YYYY-MM-DD HH:mm:ss"

这样的format里有空格无法生成目录名,所以空格会替换为_

与crontab集成:以每分钟为例

如果不了解crontab,请移步https://www.baidu.com/s?wd=crontab&rsv_spt=1&issp=1&f=8&rsv_bp=0&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_enter=1&rsv_sug3=3&rsv_sug1=3

第一步:初始化

mmb init

第二步:修改配置文件,假定我的mongodb信息不变,我需要修改dirname,按分钟生成,具体如下:

{
  "host": "127.0.0.1",
  "port": "27017",
  "db": "xbm-wechat-api",
  "dirname":"YYYY-MM-DD HH:mm"
}

第三步:测试

mmb

看看,生成的目录是否正常,以及目录里的数据是否正常

➜  mongodbbackup  date
Sun Aug 23 22:42:14 CST 2015
➜  mongodbbackup  mmb  
➜  mongodbbackup  ls
2015-08-23_22:42     2015-08-23_22:42.log export.sh            mongo.config.json

这样就代表是正确的。

第四步:集成crontab,写一个脚本cron.sh

➜  mongodbbackup  cat cron.sh 
 #!/bin/bash

cd /Users/sang/test/mongodbbackup
mmb

然后,给cron.sh增加执行权限

chmod +x cron.sh 

配置crontab,定时执行cron.sh

➜  mongodbbackup  touch cron-mmb.conf

填写以下内容

* * * * * sh /Users/sang/test/mongodbbackup/cron.sh

保存即可。

➜  mongodbbackup  sudo crontab -u root cron-mmb.conf 

这样每分钟都会执行cron.sh,即每分钟备份一次了

五个星星表示

  • minute — 分钟,从 0 到 59 之间的任何整数
  • hour — 小时,从 0 到 23 之间的任何整数
  • day — 日期,从 1 到 31 之间的任何整数(如果指定了月份,必须是该月份的有效日期)
  • month — 月份,从 1 到 12 之间的任何整数(或使用月份的英文简写如 jan、feb 等等)
  • dayofweek — 星期,从 0 到 7 之间的任何整数,这里的 0 或 7 代表星期日(或使用星期的英文简写如 sun、mon 等等)

crontab简单用法说明

  • crontab -l显示目前所有的任务
  • crontab -r删除所有的任务
  • crontab -e编辑任务

导出csv

照理说mongoexport是支持导出csv,但是那个东西基本不能看,不是人读的

1.png

那么有没有更好一点的做法呢?

以jsonArray导出

➜  mongodbbackup  mongoexport -d xbm-wechat-api -c senddeliveryhistories -o senddeliveryhistories.json  --jsonArray --query "{'user_to_name' : 'ywiwfi'}"
2015-08-23T23:12:45.668+0800	connected to: localhost
2015-08-23T23:12:45.670+0800	exported 1 record
➜  mongodbbackup  cat senddeliveryhistories.json 
[{"__v":0,"_id":{"$oid":"55bf208846b246fa238ff4d7"},"created_at":{"$date":"2015-08-03T08:04:24.648Z"},"date":"20150803","delivery_number":"","express":{"$oid":"5559a7edcb20cb272f412d96"},"express_company":"sfjowj","express_remark":"wifyiwfi","items":[],"last_modified_at":{"$date":"2015-08-03T08:04:24.648Z"},"last_modified_user":"","remark":"jjjj","status":2,"user_from_address":"kjwiji","user_from_id":{"$oid":"5559944fa56f3f192e22d2d4"},"user_from_mobile":"ijfij","user_from_name":"lwlfl","user_to_address":"uwyfuwi","user_to_id":{"$oid":"555993e7c3ab570c2eb23687"},"user_to_mobile":"uyfowhohi","user_to_name":"ywiwfi"}]

启动j2csv

把拷贝json文件里的内容,放到文本框里

	➜  mongodbbackup  j2csv

2.png

more

如果你有更好的办法请不吝赐教 shiren1118@126.com

全文完

欢迎关注我的公众号【node全栈】

node全栈.png

© 著作权归作者所有

共有 人打赏支持
i5ting
粉丝 191
博文 68
码字总数 98509
作品 3
东城
私信 提问
加载中

评论(2)

i5ting
i5ting

引用来自“宇航员们”的评论

都用redis了
情景不一样啊,各自擅长的不一样的
银河缘木
银河缘木
都用redis了
mongodb数据导入导出以及备份恢复

数据导出 mongoexport 假设库里有一张user 表,里面有2 条记录,我们要将它导出 > use my_mongodb switched to db my_mongodb > db.user.find(); { "_id" : ObjectId("4f81a4a1779282ca68fd8......

黄梦巍
2014/10/10
0
0
入门系列之在Ubuntu 14.04上备份,还原和迁移MongoDB数据库

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由信姜缘 发表于云+社区专栏 MongoDB是最受欢迎的NoSQL数据库引擎之一。它以可扩展,强大,可靠和易于使用而闻名。在本文中,...

云加社区
08/20
0
0
MongoDB之基本操作与日常维护

MongoDB基本操作 MongoDB的基本操作主要是对数据库、集合、文档的操作,包括创建数据库、删除数据库、插入文档、更改文档、删除文档、和查询文档。 操作 描述 show dbs 查看当前实例下的数据...

艾艾贴
07/20
0
0
mongodb 迁移到mysql 求助?

接手别人的网站项目,之前是nodejs + mongodb 开发的 现在想要用java + mysql 重构。 网站是文章类型的,第一步想要把mongodb里的数据导入到mysql 我对mongodb不了解,之前项目人员也没有留下...

肖申克救赎
2017/08/04
184
5
浅尝辄止MongoDB:管理(1)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/82999747 目录 一、控制访问权限 1. 添加admin用户 2. 启用身份认证 3. 在mongo控制...

wzy0623
10/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

RestClientUtil和ConfigRestClientUtil区别说明

RestClientUtil directly executes the DSL defined in the code. ConfigRestClientUtil gets the DSL defined in the configuration file by the DSL name and executes it. RestClientUtil......

bboss
40分钟前
6
0

中国龙-扬科
昨天
2
0
Linux系统设置全局的默认网络代理

更改全局配置文件/etc/profile all_proxy="all_proxy=socks://rahowviahva.ml:80/"ftp_proxy="ftp_proxy=http://rahowviahva.ml:80/"http_proxy="http_proxy=http://rahowviahva.ml:80/"......

临江仙卜算子
昨天
8
0
java框架学习日志-6(bean作用域和自动装配)

本章补充bean的作用域和自动装配 bean作用域 之前提到可以用scope来设置单例模式 <bean id="type" class="cn.dota2.tpye.Type" scope="singleton"></bean> 除此之外还有几种用法 singleton:......

白话
昨天
8
0
在PC上测试移动端网站和模拟手机浏览器的5大方法

总结很全面,保存下来以备不时之需。原文地址:https://www.cnblogs.com/coolfeng/p/4708942.html

kitty1116
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部