mysql 数据库DBA课程12_05 NoSQL-Mongodb备份恢复

----------------
备份恢复 *****

1、备份恢复工具介绍：
（1）** mongoexport(导出)/mongoimport(导入) 可以理解为逻辑，此组工具用得不多。

（2）***** mongodump/mongorestore（日常备份用得多） 可以理解为物理

2、备份工具区别在哪里？
2.1.
mongoexport/mongoimport 导入/导出的是JSON格式或者CSV格式，默认为JSON格式。异步迁移会用到
mongodump/mongorestore 导入/导出的是BSON（二进制的JSON）格式。

2.2. JSON可读性强但体积较大，BSON则是二进制文件，体积小但对人类几乎没有可读性。

2.3.    在一些mongodb版本之间，BSON格式可能会随版本不同而有所不同，所以不同版本之间用mongodump/mongorestore可能不会成功，具体要看版本之间的兼容性。当无法使用BSON进行跨版本的数据迁移的时候，使用JSON格式即mongoexport/mongoimport是一个可选项。
异构平台数据迁移，比如mysql---->mongodb，也只能用mongoexport/mongoimport 为csv格式

跨版本的mongodump/mongorestore个人并不推荐，实在要做请先检查文档看两个版本是否兼容（大部分时候是的）

2.4.    JSON虽然具有较好的跨版本通用性，但其只保留了数据部分，不保留索引，账户等其他基础信息。使用时应该注意。

应用场景总结:
mongoexport/mongoimport:json csv

1、异构平台迁移 mysql <---> mongodb
2、同平台，跨大版本：mongodb 2 ----> mongodb 3


mongodump/mongorestore

日常备份恢复时使用.
================================================
一、导出工具mongoexport
Mongodb中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件。

可以通过参数指定导出的数据项，也可以根据指定的条件导出数据。

（1）版本差异较大
（2）异构平台数据迁移

mongoexport具体用法如下所示：
$ mongoexport --help

参数说明：
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
由于我们导出的是csv或者json格式，所以它只能针对表(collection)来进行导入导出。

-c:指明collection的名字

-f:指明要导出那些列，主要针对csv格式
-o:指明到要导出的文件名
-q:指明导出数据的过滤条件
--authenticationDatabase admin

执行导出命令的时候，必须要手工的加上用户的验证库


mongod用户操作：
创建备份目录：

mkdir -p /mongodb/backup
mongo -uroot -proot123
备份oldboy下面的log表
mongoexport -uroot -proot123 -d oldboy -c log
--authenticationDatabase admin -o /mongodb/backup/log.json



1.单表备份至json格式

mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log -o /mongodb/log.json

注：备份文件的名字可以自定义，默认导出了JSON格式的数据。

2. 单表备份至csv格式
如果我们需要导出CSV格式的数据，则需要使用----type=csv参数：
mongoexport -uroot -proot123 -d oldboy -c log --type=csv -f uid,name,age,date --authenticationDatabase admin -o /mongodb/backup/log_bak.csv


mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log --type=csv -f uid,name,age,date -o /mongodb/log.csv

二、导入工具mongoimport
Mongodb中的mongoimport工具可以把一个特定格式文件中的内容导入到指定的collection中。该工具可以导入JSON格式数据，也可以导入CSV格式数据。具体使用如下所示：

$ mongoimport --help
参数说明：
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
-c:指明collection的名字


-f:指明要导入那些列
-j：--numInsertionWorkers=<number> (默认为1)并发导入 //并行

数据恢复:
1.恢复刚才导出的log.json格式表数据到test库下面的test表
mongoimport -uroot -proot123 -d test -c test --authenticationDatabase admin /mongodb/backup/log.json

mongoimport -uroot -proot123 -d test -c test -j 4 --authenticationDatabase admin /mongodb/backup/log.json



2.恢复csv格式的文件到test库test2

如果要导入CSV格式文件中的内容，则需要通过--type参数指定导入格式，具体如下所示：

注意：
csv格式的文件头行，有列名

mongoimport -uroot -proot123 -d test -c test2 --type=csv --headerline --authenticationDatabase admin /mongodb/backup/log_bak.csv

--headerline：指明第一行是列名，不需要导入。

csv格式的文件头行，没有列名


mongoimport -uroot -proot123 -d test -c test3 --type=csv -f uid,name,age,date --authenticationDatabase admin /mongodb/backup/log1.csv


mongoimport -uroot -proot123 -d test -c test3 --drop
--type=csv -f uid,name,age,date --authenticationDatabase admin /mongodb/backup/log1.csv

--drop 覆盖原来的数据，进行导入。
++++++++++++++++++++++++++++++++
-----异构平台迁移案例
mysql -----> mongodb
world数据库下city表进行导出，导入到mongodb

（1）mysql开启安全路径
vim /etc/my.cnf --->添加以下配置
secure-file-priv="" ##可以导出到任何地方

--重启数据库生效
（2）导出mysql的city表数据
use world;
select * from world.city into outfile
'/tmp/city1.csv'
fields terminated by ',';




（3）处理备份文件
desc world.city


vim /tmp/city1.csv ----> 添加第一行列名信息
ID,Name,CountryCode,District,Population

也可以在导入的时候，指定列名。
scp -r /tmp/city1.csv root@192.168.68.190:/tmp

(4)在mongodb中导入备份(mongodb服务器 操作)
mongoimport -uroot -proot123 -d test -c city --type=csv -f ID,Name,CountryCode,District,Population --authenticationDatabase admin /tmp/city1.csv

use test
db.city.find({CountryCode:"CHN"});



-------------

world共100张表，全部迁移到mongodb

select * from world.city into outfile '/tmp/world_city.csv' fields terminated by ',';

select concat("select * from ",table_schema,".",table_name ," into outfile '/tmp/",table_schema,"_",table_name,".csv' fields terminated by ',';")

from information_schema.tables where table_schema ='world';

导入：
提示，使用infomation_schema.columns + information_schema.tables

------------

mysql导出csv：
select * from test_info
into outfile '/tmp/test.csv'
fields terminated by ','　　　 ------字段间以,号分隔
optionally enclosed by '"'　　 ------字段用"号括起
escaped by '"' 　　　　　　 ------字段中使用的转义符为"
lines terminated by '\r\n';　　------行以\r\n结束


mysql导入csv：
load data infile '/tmp/test.csv'

into table test_info
fields terminated by ','
optionally enclosed by '"'

escaped by '"'
lines terminated by '\r\n';

----------------------------------

3、mongodump和mongorestore介绍
mongodump能够在Mongodb运行时进行备份，它的工作原理是对运行的Mongodb做查询，然后将所有查到的文档写入磁盘。但是存在的问题时使用mongodump产生的备份不一定是数据库的实时快照，如果我们在备份时对数据库进行了写入操作，则备份出来的文件可能不完全和Mongodb实时数据相等。另外在备份时可能会对其它客户端性能产生不利的影响。

4、mongodump用法如下：
$ mongodump --help
参数说明：
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码

-d:指明数据库的名字
-c:指明collection的名字
-o:指明到要导出的文件名
-q:指明导出数据的过滤条件
-j：--numParallelCollections= ##并发数
--oplog 备份的同时备份oplog，单机来讲，没有用，这个参数是针对复制集。

5、mongodump和mongorestore基本使用
5.0 全库备份（生产中一般用全备的多一些）

mkdir -p /mongodb/backup
mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -o /mongodb/backup
mongodump -uroot -proot123 --authenticationDatabase admin -j 2 -o /mongodb/backup/









将备份出来的bson转换成json格式，

bsondump ./log.bson >/tmp/log1.json

5.1--备份oldboy库
mongodump -uroot -proot123 -d oldboy --authenticationDatabase admin -j 2 -o /tmp/

5.2--备份test库下的city集合
mongodump -uroot -proot123 -d test -c city --authenticationDatabase admin -j 2 -o /tmp/

5.3 --压缩备份
mongodump -uroot -proot123 --authenticationDatabase admin -d oldguo -o /mongodb/backup/ --gzip

mongodump -uroot -proot123 --authenticationDatabase admin -o /mongodb/backup/ --gzip
mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d app -c vast -o /mongodb/backup/ --gzip

5.4--恢复oldboy库

先做一次全备：
mongodump -uroot -proot123 --authenticationDatabase admin -j 2 -o /mongodb/backup/

登录mongodb，删除oldboy库
mongo -uroot -proot123
use oldboy
db.dropDatabase();

mongorestore -uroot -proot123 --authenticationDatabase admin -d oldboy /mongodb/backup/oldboy/

恢复单库：就指定到备份路径下的库，比如/mongodb/backup/oldboy/
恢复全库：就指定到备份路径下，比如/mongodb/backup/
恢复单表：就指定到备份路径下的库的/单个文件

5.5--恢复oldboy库下的log集合
use oldboy
db.log.drop()
mongorestore -uroot -proot123 --authenticationDatabase admin -d oldboy -c log /mongodb/backup/oldboy/log.bson

备份的时候加了--gzip ，恢复的时候也加--gizp
mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -c t1 --gzip /mongodb/backup.bak/oldboy/log1.bson.gz

5.6 --drop表示恢复的时候把之前的集合drop掉(危险)
mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy --drop /mongodb/backup/oldboy

++++++++++++++++