文档章节

MongoDB自动备份全过程实录

l
 linjin200
发布于 06/17 14:50
字数 1073
阅读 13
收藏 0

MongoDB自动备份全过程实录

2019年05月10日 16:44:08 zl1zl2zl3 阅读数 11

前段时间,个人小程序 IT牧场 因服务器磁盘空间被占满,导致MongoDB挂了。清理了一些无用的数据后,重启MongoDB,竟然无法启动,一番折腾(20分钟)后,总算修复了。这让我意识到:虽然是个人小项目,但也必须定期备份啊,否则数据丢了很尴尬的说

碎碎念

•我不是MongoDB高手,之所以选择MongoDB,是因为需求不明确——MongoDB很适合不明确需求场景的开发。•个人对Elasticsearch更熟悉,Elasticsearch也很适合不定需求的业务开发;但个人服务器只有1G内存,用Elasticsearch得升级服务器,得花好多钱啊啊啊。

MongoDB备份比较简单,只需用内置的 mongodump 即可,命令格式如下:

mongodump -h {mongodb主机名}:{端口}  -u {账号} -p {密码} -d {数据库名称} -o {存储路径}

然而,笔者为MongoDB设置的密码是带有特殊字符的,例如 @#$\ 之类,直接以如上形式执行命令,会报错

所以笔者选择不带 -p 参数执行命令,即:

mongodump -h {mongodb主机名}:{端口}  -u {账号} -d {数据库名称} -o {存储路径}

然后,命令提示符会提示输入密码。例如:

# mongodump -h 127.0.0.1 -u user -d itmuch -o /tmp/somepathEnter password:

至此已实现MongoDB的备份。然而,手动备份还是挺麻烦的,怎么实现备份的自动化呢?

自动备份

正常来说,自动备份是比较简单的——只需将手动备份的命令做成Shell脚本,并设置定时任务即可。然而,笔者的场景,命令是需要交互式输入密码的啊!

怎么才能自动输入密码呢expect 登场了——一款提供自动交互的工具

安装expect

yum install -y expect

编写expect脚本

expect语法非常简单,和Shell几乎一样。笔者的脚本编写如下:

#!/bin/expect
# spawn是expect的语句,执行命令前需添加该字眼
set DATE [exec date "+%Y-%m-%d"]
set DIR /xxxxx/dbbak-$DATE
spawn rm -rf $DIR
spawn echo 'removing...$DIR'
spawn mongodump -h {host:port}  -u {user} -d {dbname} -o $DIR
# 交互获取是否返回password:关键字
expect "password:"
# 将密码发送过去,注意最后的换行不能少,否则得人工输入回车。
send "密码\r"
# 停留在远程控制台,没有这行就会直接返回本地控制台,而不等shell执行完
interact

注释很全面了,聪明的你阅读肯定没有压力。最终备份出来的文件会存放在 /xxxxx/dbbak-备份日期 目录中。

自动备份

笔者利用Linux定时任务实现自动执行。

crontab -e

在新窗口中添加如下内容:

0 0 1 * * ? /usr/bin/expect 上面expect shell的完整路径

原本以为这样就可以定时执行了,然而却无法正常执行

百度后,将脚本修改为如下,终于可以正常执行了。

#!/bin/expect
# spawn是expect的语句,执行命令前需添加该字眼
set DATE [exec date "+%Y-%m-%d"]
set DIR /xxxxx/dbbak-$DATE
spawn rm -rf $DIR
spawn echo 'removing...$DIR'
spawn mongodump -h {host:port}  -u {user} -d {dbname} -o $DIR
# 交互获取是否返回password:关键字
expect "password:"
# 将密码发送过去,注意最后的换行不能少,否则得人工输入回车。
send "密码\r"

set timeout 120
expect eof

exit

总结

本文没什么难点,都是一些细节——

•因为密码含有特殊字符,所以需要交互式输入密码;•因为要交互式输入密码,所以使用了expect

写出来主要是总结下踩到的坑,另外,expect是一款通用的提供自动交互的工具,用来实现ssh的自动登录、sftp的自动登录、mysql的自动登录等。脚本的套路都和本文展示的结构基本类似。

© 著作权归作者所有

l

linjin200

粉丝 23
博文 862
码字总数 947173
作品 0
福州
程序员
私信 提问
入门系列之在Ubuntu 14.04上备份,还原和迁移MongoDB数据库

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由信姜缘 发表于云+社区专栏 MongoDB是最受欢迎的NoSQL数据库引擎之一。它以可扩展,强大,可靠和易于使用而闻名。在本文中,...

云加社区
2018/08/20
0
0
mongodb安装、连接,mongodb用户管理、创建集合、数据管理、备份恢复,副本集介绍、搭建、测试,分片介绍、搭建、测试,php的mongodb扩展、mongo扩展

21.26 mongodb介绍 21.27 mongodb安装 21.28 连接mongodb 21.29 mongodb用户管理 21.30 mongodb创建集合、数据管理 21.31 php的mongodb扩展 21.32 php的mongo扩展 21.33 mongodb副本集介绍 ...

tobej
07/16
57
0
如何在 Ubuntu 上安装 MongoDB

本教程介绍了在 Ubuntu 和基于 Ubuntu 的 Linux 发行版上安装 MongoDB 的两种方法。 MongoDB 是一个越来越流行的自由开源的 NoSQL 数据库,它将数据存储在类似 JSON 的灵活文档集中,这与 SQ...

作者: Sergiu
08/02
0
0
Linux下定时切割Mongodb数据库日志并删除指定天数前的日志记录(转) 精华 mongo日志

Linux下定时切割Mongodb数据库日志并删除指定天数前的日志记录(转) 文章转自:http://www.osyunwei.com/archives/8998.html 说明: 操作系统:CentOS Mongodb安装目录:/usr/local/mongodb ...

linjin200
06/14
17
0
MongoDB安全事件的防范与反思

此文已由作者温正湖授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 近段时间来,全球范围内数以万计的MongoDB实例被攻击,作为旨在为用户提供最优MongoDB云服务的...

网易云
2018/10/19
0
0

没有更多内容

加载失败,请刷新页面

加载更多

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二)

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二) List 类型的操作 1、 向列表左侧添加数据 Long leftPush = redisTemplate.opsForList().leftPush("name", name); 2、 向列表右......

TcWong
今天
4
0
排序––快速排序(二)

根据排序––快速排序(一)的描述,现准备写一个快速排序的主体框架: 1、首先需要设置一个枢轴元素即setPivot(int i); 2、然后需要与枢轴元素进行比较即int comparePivot(int j); 3、最后...

FAT_mt
昨天
4
0
mysql概览

学习知识,首先要有一个总体的认识。以下为mysql概览 1-架构图 2-Detail csdn |简书 | 头条 | SegmentFault 思否 | 掘金 | 开源中国 |

程序员深夜写bug
昨天
10
0
golang微服务框架go-micro 入门笔记2.2 micro工具之微应用利器micro web

micro web micro 功能非常强大,本文将详细阐述micro web 命令行的功能 阅读本文前你可能需要进行如下知识储备 golang分布式微服务框架go-micro 入门笔记1:搭建go-micro环境, golang微服务框架...

非正式解决方案
昨天
7
0
前端——使用base64编码在页面嵌入图片

因为页面中插入一个图片都要写明图片的路径——相对路径或者绝对路径。而除了具体的网站图片的图片地址,如果是在自己电脑文件夹里的图片,当我们的HTML文件在别人电脑上打开的时候图片则由于...

被毒打的程序猿
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部