mysql 数据库DBA课程12_03 NoSQL-Mongodb分片搭建

mongodb 分片集群架构图:


router 最少有一个,可以有多个。
config servers 存储了所有节点信息,分片策略。必须是复制集,不能有arbiter,一主两从
router 接到用户请求,先去读取,config servers里面的信息,根据config servers 里面的策略,再把请求发给后端的分片。

shard(分片):复制集结构
-----------------------
MongoDB Sharding Cluster 分片集群 *****

搭建:
1、规划:10个实例:38017-38026 ##生产中,多是,用多台服务器。
(1)config server:
3台构成的复制集(1主两从,不支持arbiter)38018-38020(复制集名字configsvr)

(2)shard节点:
sh1:38021-23 (1主两从,其中一个节点为arbiter,复制集名字sh1)
sh2:38024-26 (1主两从,其中一个节点为arbiter,复制集名字sh2)
(3)、router 38017
2、配置过程
shard复制集配置:
2.1目录创建:(mongod 用户环境下操作)

mkdir -p /mongodb/38021/conf /mongodb/38021/log /mongodb/38021/data
mkdir -p /mongodb/38022/conf /mongodb/38022/log /mongodb/38022/data
mkdir -p /mongodb/38023/conf /mongodb/38023/log /mongodb/38023/data
mkdir -p /mongodb/38024/conf /mongodb/38024/log /mongodb/38024/data
mkdir -p /mongodb/38025/conf /mongodb/38025/log /mongodb/38025/data
mkdir -p /mongodb/38026/conf /mongodb/38026/log /mongodb/38026/data

2.2修改配置文件:(注意空格,每级要两个空格。)
sh1:(第一个分片,3个节点)
cat > /mongodb/38021/conf/mongodb.conf<<EOF
systemLog:
  destination: file
  path: /mongodb/38021/log/mongodb.log
  logAppend: true
storage:
  journal:
    enabled: true
  dbPath: /mongodb/38021/data
  directoryPerDB: true
  #engine: wiredTiger
  wiredTiger:
  engineConfig:
    cacheSizeGB: 1
    directoryForIndexes: true
  collectionConfig:
    blockCompressor: zlib
  indexConfig:
    prefixCompression: true
net:
  bindIp: 192.168.68.190,127.0.0.1
  port: 38021
replication:
  oplogSizeMB: 2048
  replSetName: sh1 #这个名称可以自定义
sharding:
  clusterRole: shardsvr ##这个是固定的
processManagement:
  fork: true
EOF
cp /mongodb/38021/conf/mongodb.conf /mongodb/38022/conf/
cp /mongodb/38021/conf/mongodb.conf /mongodb/38023/conf/
sed 's#38021#38022#g' /mongodb/38022/conf/mongodb.conf -i
sed 's#38021#38023#g' /mongodb/38023/conf/mongodb.conf -i

sh2:(第二个分片,3个节点)
cat > /mongodb/38024/conf/mongodb.conf<<EOF
systemLog:
  destination: file
  path: /mongodb/38024/log/mongodb.log
  logAppend: true
storage:
  journal:
    enabled: true
dbPath: /mongodb/38024/data
directoryPerDB: true
wiredTiger:
  engineConfig:
    cacheSizeGB: 1
    directoryForIndexes: true
  collectionConfig:
    blockCompressor: zlib
  indexConfig:
    prefixCompression: true
net:
  bindIp: 192.168.68.190,127.0.0.1
  port: 38024
replication:
  oplogSizeMB: 2048
  replSetName: sh2
sharding:
  clusterRole: shardsvr
processManagement:
  fork: true
EOF

cp /mongodb/38024/conf/mongodb.conf /mongodb/38025/conf/
cp /mongodb/38024/conf/mongodb.conf /mongodb/38026/conf/
sed 's#38024#38025#g' /mongodb/38025/conf/mongodb.conf -i
sed 's#38024#38026#g' /mongodb/38026/conf/mongodb.conf -i

2.3启动所有节点,并搭建复制集:
mongod -f /mongodb/38021/conf/mongodb.conf
mongod -f /mongodb/38022/conf/mongodb.conf
mongod -f /mongodb/38023/conf/mongodb.conf
mongod -f /mongodb/38024/conf/mongodb.conf
mongod -f /mongodb/38025/conf/mongodb.conf
mongod -f /mongodb/38026/conf/mongodb.conf


构建复制集,两组,每个分片,构建成一个复制集。
mongo --port 38021 admin ##一般登录那个节点,开始配置,就当成是主节点。
config = {_id: 'sh1', members: [
{_id: 0, host: '192.168.68.190:38021'},
{_id: 1, host: '192.168.68.190:38022'},
{_id: 2, host: '192.168.68.190:38023',"arbiterOnly":true}]
}
rs.initiate(config)

mongo --port 38024 admin ##一般登录那个节点,开始配置,就当成是主节点。
config = {_id: 'sh2', members: [
{_id: 0, host: '192.168.68.190:38024'},
{_id: 1, host: '192.168.68.190:38025'},
{_id: 2, host: '192.168.68.190:38026',"arbiterOnly":true}]
}
rs.initiate(config)

=-=----=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
3、config节点配置:
3.1目录创建:
mkdir -p /mongodb/38018/conf /mongodb/38018/log /mongodb/38018/data
mkdir -p /mongodb/38019/conf /mongodb/38019/log /mongodb/38019/data
mkdir -p /mongodb/38020/conf /mongodb/38020/log /mongodb/38020/data

3.2修改配置文件:
cat > /mongodb/38018/conf/mongodb.conf <<EOF
systemLog:
  destination: file
  path: /mongodb/38018/log/mongodb.conf
  logAppend: true
storage:
  journal:
    enabled: true
  dbPath: /mongodb/38018/data
  directoryPerDB: true
  #engine: wiredTiger
  wiredTiger:
engineConfig:
  cacheSizeGB: 1
directoryForIndexes: true
  collectionConfig:
    blockCompressor: zlib
    indexConfig:
    prefixCompression: true
net:
  bindIp: 192.168.68.190,127.0.0.1
  port: 38018
replication:
  oplogSizeMB: 2048
  replSetName: configReplSet
sharding:
  clusterRole: configsvr ##名称只能是这个,不能改
processManagement:
  fork: true
EOF

cp /mongodb/38018/conf/mongodb.conf /mongodb/38019/conf/
cp /mongodb/38018/conf/mongodb.conf /mongodb/38020/conf/
sed 's#38018#38019#g' /mongodb/38019/conf/mongodb.conf -i
sed 's#38018#38020#g' /mongodb/38020/conf/mongodb.conf -i

3.3启动节点,并配置复制集
mongod -f /mongodb/38018/conf/mongodb.conf
mongod -f /mongodb/38019/conf/mongodb.conf
mongod -f /mongodb/38020/conf/mongodb.conf

mongo --port 38018 admin
config = {_id: 'configReplSet', members: [
{_id: 0, host: '192.168.68.190:38018'},
{_id: 1, host: '192.168.68.190:38019'},
{_id: 2, host: '192.168.68.190:38020'}]
}

rs.initiate(config)
注:configserver 可以是一个节点,官方建议复制集。config server不能有arbiter。

新版本中,要求必须是复制集。

注:mongodb 3.4之后,虽然要求config server为replica set,但是不支持arbiter
=======================================================================

4、mongos节点配置:(无状态,没有数据,只需要告诉它config 在那,就可以了。)

4.1创建目录:(不需要创建数据目录)
mkdir -p /mongodb/38017/conf /mongodb/38017/log

4.2配置文件:
cat >/mongodb/38017/conf/mongos.conf<<EOF
systemLog:file
  path: /mongodb/38017/log/mongos.log
  logAppend: true
net:
  bindIp: 192.168.68.190,127.0.0.1
  port: 38017
sharding:      configDB:configReplSet/192.168.68.190:38018,192.168.68.190:38019,192.168.68.190:38020

##config server 的整个复制集,功能,假如,一个config server donw 了,它自动会知道,并会去读另一个主的 config server

processManagement:
  fork: true
EOF
4.3启动mongos
mongos -f /mongodb/38017/conf/mongos.conf
mongos 依赖于config server,如果config server 启动不了,mongos也启动不了。
如果要关闭mongos,直接kill掉mongos的进程就可以了。因为mongos是无状态的节点

 5、分片集群操作:
连接到其中一个mongos(192.168.68.190),做以下配置
(1)连接到mongs的admin数据库
# su - mongod
mongo 192.168.68.190:38017/admin

(2)添加分片
db.runCommand( { addshard : "sh1/192.168.68.190:38021,192.168.68.190:38022,192.168.68.190:38023",name:"shard1"} )

db.runCommand( { addshard : "sh2/192.168.68.190:38024,192.168.68.190:38025,192.168.68.190:38026",name:"shard2"} )

(3)列出分片
mongos> db.runCommand( { listshards : 1 } )



(4)整体状态查看
mongos> sh.status();