Skip to content

Docker进阶

1.Docker复杂安装详说

1.安装mysql主从复制

1.主从复制原理

2.主从搭建步骤

1.新建主服务器容器实例3307

shell
docker run -p 3307:3306 --name mysql-master \
-v /mydata/mysql-master/log:/var/log/mysql \
-v /mydata/mysql-master/data:/var/lib/mysql \
-v /mydata/mysql-master/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root  \
-d mysql:5.7
docker run -p 3307:3306 --name mysql-master \
-v /mydata/mysql-master/log:/var/log/mysql \
-v /mydata/mysql-master/data:/var/lib/mysql \
-v /mydata/mysql-master/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root  \
-d mysql:5.7

2.进入/mydata/mysql-master/conf目录下新建my.cnf

vim my.cnf

shell
[mysqld]
## 设置server_id,同一局域网中需要唯一
server_id=101 
## 指定不需要同步的数据库名称
binlog-ignore-db=mysql  
## 开启二进制日志功能
log-bin=mall-mysql-bin  
## 设置二进制日志使用内存大小(事务)
binlog_cache_size=1M  
## 设置使用的二进制日志格式(mixed,statement,row)
binlog_format=mixed  
## 二进制日志过期清理时间。默认值为0,表示不自动清理。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。
## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致
slave_skip_errors=1062
[mysqld]
## 设置server_id,同一局域网中需要唯一
server_id=101 
## 指定不需要同步的数据库名称
binlog-ignore-db=mysql  
## 开启二进制日志功能
log-bin=mall-mysql-bin  
## 设置二进制日志使用内存大小(事务)
binlog_cache_size=1M  
## 设置使用的二进制日志格式(mixed,statement,row)
binlog_format=mixed  
## 二进制日志过期清理时间。默认值为0,表示不自动清理。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。
## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致
slave_skip_errors=1062

3.修改完配置后重启master实例

shell
docker restart mysql-master
docker restart mysql-master

4.进入mysql-master容器

shell
docker exec -it mysql-master /bin/bash
mysql -uroot -proot
docker exec -it mysql-master /bin/bash
mysql -uroot -proot

5.master容器实例内创建数据同步用户

shell
#1.创建slave用户密码为123456
CREATE USER 'slave'@'%' IDENTIFIED BY '123456';
#2.授予slave账户权限
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';
#1.创建slave用户密码为123456
CREATE USER 'slave'@'%' IDENTIFIED BY '123456';
#2.授予slave账户权限
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';
  • 权限说明

    REPLICATION CLIENT:授予此权限,复制用户可以使用 SHOW MASTER STATUS, SHOW SLAVE STATUS和 SHOW BINARY LOGS来确定复制状态。

    REPLICATION SLAVE:授予此权限,复制才能真正工作。

6.新建从服务器容器实例3308

shell
docker run -p 3308:3306 --name mysql-slave \
-v /mydata/mysql-slave/log:/var/log/mysql \
-v /mydata/mysql-slave/data:/var/lib/mysql \
-v /mydata/mysql-slave/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root  \
-d mysql:5.7
docker run -p 3308:3306 --name mysql-slave \
-v /mydata/mysql-slave/log:/var/log/mysql \
-v /mydata/mysql-slave/data:/var/lib/mysql \
-v /mydata/mysql-slave/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root  \
-d mysql:5.7

7.进入/mydata/mysql-slave/conf目录下新建my.cnf

shell
[mysqld]
## 设置server_id,同一局域网中需要唯一
server_id=102
## 指定不需要同步的数据库名称
binlog-ignore-db=mysql  
## 开启二进制日志功能,以备Slave作为其它数据库实例的Master时使用
log-bin=mall-mysql-slave1-bin  
## 设置二进制日志使用内存大小(事务)
binlog_cache_size=1M  
## 设置使用的二进制日志格式(mixed,statement,row)
binlog_format=mixed  
## 二进制日志过期清理时间。默认值为0,表示不自动清理。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。
## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致
slave_skip_errors=1062  
## relay_log配置中继日志
relay_log=mall-mysql-relay-bin  
## log_slave_updates表示slave将复制事件写进自己的二进制日志
log_slave_updates=1  
## slave设置为只读(具有super权限的用户除外)
read_only=1
[mysqld]
## 设置server_id,同一局域网中需要唯一
server_id=102
## 指定不需要同步的数据库名称
binlog-ignore-db=mysql  
## 开启二进制日志功能,以备Slave作为其它数据库实例的Master时使用
log-bin=mall-mysql-slave1-bin  
## 设置二进制日志使用内存大小(事务)
binlog_cache_size=1M  
## 设置使用的二进制日志格式(mixed,statement,row)
binlog_format=mixed  
## 二进制日志过期清理时间。默认值为0,表示不自动清理。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。
## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致
slave_skip_errors=1062  
## relay_log配置中继日志
relay_log=mall-mysql-relay-bin  
## log_slave_updates表示slave将复制事件写进自己的二进制日志
log_slave_updates=1  
## slave设置为只读(具有super权限的用户除外)
read_only=1

8.修改完配置后重启slave实例

shell
docker restart mysql-slave
docker restart mysql-slave

9.在主数据库中查看主从同步状态

shell
docker exec -it mysql-master /bin/bash
mysql -uroot -proot
show master status;
docker exec -it mysql-master /bin/bash
mysql -uroot -proot
show master status;

image-20221114101750320

10.进入mysql-slave容器

shell
docker exec -it mysql-slave /bin/bash
mysql -uroot -proot
docker exec -it mysql-slave /bin/bash
mysql -uroot -proot

11.在从数据库中配置主从复制

sql
change master to master_host='宿主机ip', master_user='slave', master_password='123456', master_port=3307, master_log_file='mall-mysql-bin.000001', master_log_pos=617, master_connect_retry=30;
change master to master_host='宿主机ip', master_user='slave', master_password='123456', master_port=3307, master_log_file='mall-mysql-bin.000001', master_log_pos=617, master_connect_retry=30;

示例:

sql
change master to master_host='192.168.79.124', master_user='slave', master_password='123456', master_port=3307, master_log_file='mall-mysql-bin.000001', master_log_pos=834, master_connect_retry=30;
change master to master_host='192.168.79.124', master_user='slave', master_password='123456', master_port=3307, master_log_file='mall-mysql-bin.000001', master_log_pos=834, master_connect_retry=30;

主从复制命令参数说明

master_host:主数据库的IP地址; master_port:主数据库的运行端口; master_user:在主数据库创建的用于同步数据的用户账号; master_password:在主数据库创建的用于同步数据的用户密码; master_log_file:指定从数据库要复制数据的日志文件,通过查看主数据的状态,获取File参数; master_log_pos:指定从数据库从哪个位置开始复制数据,通过查看主数据的状态,获取Position参数; master_connect_retry:连接失败重试的时间间隔,单位为秒。

12.在从数据库中查看主从同步状态

sql
show slave status \G;
show slave status \G;

image-20221114124345276

13.在从数据库中开启主从同步

sql
start slave;
start slave;

14.查看从数据库状态发现已经同步

sql
show slave status \G;
show slave status \G;

image-20221114124306654

15.主从复制测试

主机新建库-使用库-新建表-插入数据,ok

从机使用库-查看记录,ok

image-20221114124618777

2.安装redis集群

cluster(集群)模式-docker版哈希槽分区进行亿级数据存储

1.面试题

1~2亿条数据需要缓存,请问如何设计这个存储案例?

回答:单机单台100%不可能,肯定是分布式存储,用redis如何落地?

上述问题阿里P6~P7工程案例和场景设计类必考题目,一般业界有3种解决方案

1.哈希取余分区

image-20221018222321203

2亿条记录就是2亿个k,v,我们单机不行必须要分布式多机,假设有3台机器构成一个集群,用户每次读写操作都是根据公式: hash(key) % N个机器台数,计算出哈希值,用来决定数据映射到哪一个节点上。

优点: 简单粗暴,直接有效,只需要预估好数据规划好节点,例如3台、8台、10台,就能保证一段时间的数据支撑。使用Hash算法让固定的一部分请求落到同一台服务器上,这样每台服务器固定处理一部分请求(并维护这些请求的信息),起到负载均衡+分而治之的作用。

缺点: 原来规划好的节点,进行扩容或者缩容就比较麻烦了额,不管扩缩,每次数据变动导致节点有变动,映射关系需要重新进行计算,在服务器个数固定不变时没有问题,如果需要弹性扩容或故障停机的情况下,原来的取模公式就会发生变化:Hash(key)/3会变成Hash(key) /?。此时地址经过取余运算的结果将发生很大变化,根据公式获取的服务器也会变得不可控。 某个redis机器宕机了,由于台数数量变化,会导致hash取余全部数据重新洗牌。

2.一致性哈希算法分区
1.是什么?

一致性Hash算法背景   一致性哈希算法在1997年由麻省理工学院中提出的,设计目标是为了解决分布式缓存数据变动和映射问题,某个机器宕机了,分母数量改变了,自然取余数不OK了。

2.能干嘛

提出一致性Hash解决方案。 目的是当服务器个数发生变动时, 尽量减少影响客户端到服务器的映射关系

3大步骤

(1)算法构建一致性哈希环

一致性哈希环 一致性哈希算法必然有个hash函数并按照算法产生hash值,这个算法的所有可能哈希值会构成一个全量集,这个集合可以成为一个hash空间[0,2^32-1],这个是一个线性空间,但是在算法中,我们通过适当的逻辑控制将它首尾相连(0 = 2^32),这样让它逻辑上形成了一个环形空间。

它也是按照使用取模的方法,前面笔记介绍的节点取模法是对节点(服务器)的数量进行取模。而一致性Hash算法是对2^32 取模,简单来说,一致性Hash算法将整个哈希值空间组织成一个虚拟的圆环,如假设某哈希函数H的值空间为0-2^32-1 (即哈希值是一个32位无符号整形),整个哈希环如下图:整个空间按顺时针方向组织,圆环的正上方的点代表0,0点右侧的第一个点代表1,以此类推,2、3、4、……直到2^32-1 ,也就是说0点左侧的第一个点代表2^32-1, 0和2^32-1 在零点中方向重合,我们把这个由2^32个点组成的圆环称为Hash环。

image-20221018222618152

(2)服务器IP节点映射

节点映射 将集群中各个IP节点映射到环上的某一个位置。 将各个服务器使用Hash进行一个哈希,具体可以选择服务器的IP或主机名作为关键字进行哈希,这样每台机器就能确定其在哈希环上的位置。假如4个节点NodeA、B、C、D,经过IP地址的哈希函数计算(hash(ip)),使用IP地址哈希后在环空间的位置如下:

image-20221018222702933

(3)key落到服务器的落键规则

当我们需要存储一个kv键值对时,首先计算key的hash值,hash(key),将这个key使用相同的函数Hash计算出哈希值并确定此数据在环上的位置,从此位置沿环顺时针“行走”,第一台遇到的服务器就是其应该定位到的服务器,并将该键值对存储在该节点上。 如我们有Object A、Object B、Object C、Object D四个数据对象,经过哈希计算后,在环空间上的位置如下:根据一致性Hash算法,数据A会被定为到Node A上,B被定为到Node B上,C被定为到Node C上,D被定为到Node D上。

image-20221018222725485

4.优点

一致性哈希算法的容错性

容错性 假设Node C宕机,可以看到此时对象A、B、D不会受到影响,只有C对象被重定位到Node D。一般的,在一致性Hash算法中,如果一台服务器不可用,则受影响的数据仅仅是此服务器到其环空间中前一台服务器(即沿着逆时针方向行走遇到的第一台服务器)之间数据,其它不会受到影响。简单说,就是C挂了,受到影响的只是B、C之间的数据,并且这些数据会转移到D进行存储。

image-20221018222856081

一致性哈希算法的扩展性

扩展性 数据量增加了,需要增加一台节点NodeX,X的位置在A和B之间,那收到影响的也就是A到X之间的数据,重新把A到X的数据录入到X上即可, 不会导致hash取余全部数据重新洗牌。

image-20221018222914708

5.缺点

一致性哈希算法的数据倾斜问题

Hash环的数据倾斜问题 一致性Hash算法在服务节点太少时,容易因为节点分布不均匀而造成数据倾斜(被缓存的对象大部分集中缓存在某一台服务器上)问题, 例如系统中只有两台服务器:

image-20221018222948848

6.小总结

为了在节点数目发生改变时尽可能少的迁移数据

将所有的存储节点排列在收尾相接的Hash环上,每个key在计算Hash后会顺时针找到临近的存储节点存放。 而当有节点加入或退出时仅影响该节点在Hash环上顺时针相邻的后续节点。

优点 加入和删除节点只影响哈希环中顺时针方向的相邻的节点,对其他节点无影响。

缺点 数据的分布和节点的位置有关,因为这些节点不是均匀的分布在哈希环上的,所以数据在进行存储时达不到均匀分布的效果。

3.哈希槽分区
1.是什么

1 为什么出现

image-20221018223144492

哈希槽实质就是一个数组,数组[0,2^14 -1]形成hash slot空间。

2 能干什么 解决均匀分配的问题,在数据和节点之间又加入了一层,把这层称为哈希槽(slot),用于管理数据和节点之间的关系,现在就相当于节点上放的是槽,槽里放的是数据。

image-20221018223150003

槽解决的是粒度问题,相当于把粒度变大了,这样便于数据移动。 哈希解决的是映射问题,使用key的哈希值来计算所在的槽,便于数据分配。

3 多少个hash槽

一个集群只能有16384个槽,编号0-16383(0-2^14-1)。这些槽会分配给集群中的所有主节点,分配策略没有要求。可以指定哪些编号的槽分配给哪个主节点。集群会记录节点和槽的对应关系。解决了节点和槽的关系后,接下来就需要对key求哈希值,然后对16384取余,余数是几key就落入对应的槽里。slot = CRC16(key) % 16384。以槽为单位移动数据,因为槽的数目是固定的,处理起来比较容易,这样数据移动问题就解决了。

2.哈希槽计算

Redis 集群中内置了 16384 个哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。当需要在 Redis 集群中放置一个 key-value时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,也就是映射到某个节点上。如下代码,key之A 、B在Node2, key之C落在Node3上

image-20221018223332620

image-20221018223340703

2. 三主三从redis集群扩缩容配置案例架构说明

3.搭建配步骤

1.3主3从redis集群配置
1.关闭防火墙+启动docker后台服务

image-20221114144810263

shell
systemctl start docker
systemctl start docker
2.新建6个docker容器redis实例
shell
docker pull redis:6.0.8
docker pull redis:6.0.8
shell
docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6381
 
docker run -d --name redis-node-2 --net host --privileged=true -v /data/redis/share/redis-node-2:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6382
 
docker run -d --name redis-node-3 --net host --privileged=true -v /data/redis/share/redis-node-3:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6383
 
docker run -d --name redis-node-4 --net host --privileged=true -v /data/redis/share/redis-node-4:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6384
 
docker run -d --name redis-node-5 --net host --privileged=true -v /data/redis/share/redis-node-5:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6385
 
docker run -d --name redis-node-6 --net host --privileged=true -v /data/redis/share/redis-node-6:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6386
docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6381
 
docker run -d --name redis-node-2 --net host --privileged=true -v /data/redis/share/redis-node-2:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6382
 
docker run -d --name redis-node-3 --net host --privileged=true -v /data/redis/share/redis-node-3:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6383
 
docker run -d --name redis-node-4 --net host --privileged=true -v /data/redis/share/redis-node-4:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6384
 
docker run -d --name redis-node-5 --net host --privileged=true -v /data/redis/share/redis-node-5:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6385
 
docker run -d --name redis-node-6 --net host --privileged=true -v /data/redis/share/redis-node-6:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6386

如果运行成功,效果如下:

image-20221114151742687

命令分步解释

shell
#创建并运行docker容器实例
docker run
#容器名字
--name redis-node-6
#使用宿主机的IP和端口,默认
--net host
#获取宿主机root用户权限
--privileged=true
#容器卷,宿主机地址:docker内部地址
-v /data/redis/share/redis-node-6:/data
#redis镜像和版本号
redis:6.0.8
#开启redis集群
--cluster-enabled yes
#开启持久化
--appendonly yes
#redis端口号
--port 6386
#创建并运行docker容器实例
docker run
#容器名字
--name redis-node-6
#使用宿主机的IP和端口,默认
--net host
#获取宿主机root用户权限
--privileged=true
#容器卷,宿主机地址:docker内部地址
-v /data/redis/share/redis-node-6:/data
#redis镜像和版本号
redis:6.0.8
#开启redis集群
--cluster-enabled yes
#开启持久化
--appendonly yes
#redis端口号
--port 6386
3.进入容器redis-node-1并为6台机器构建集群关系

1.进入容器

shell
docker exec -it redis-node-1 /bin/bash
docker exec -it redis-node-1 /bin/bash
2.构建主从关系
shell
#注意,进入docker容器后才能执行一下命令,且注意自己的真实IP地址

redis-cli --cluster create 192.168.79.124:6381 192.168.79.124:6382 192.168.79.124:6383 192.168.79.124:6384 192.168.79.124:6385 192.168.79.124:6386 --cluster-replicas 1
#注意,进入docker容器后才能执行一下命令,且注意自己的真实IP地址

redis-cli --cluster create 192.168.79.124:6381 192.168.79.124:6382 192.168.79.124:6383 192.168.79.124:6384 192.168.79.124:6385 192.168.79.124:6386 --cluster-replicas 1

--cluster-replicas 1 表示为每个master创建一个slave节点

image-20221114152144951

3.一切OK的话,3主3从搞定
4.链接进入6381作为切入点,查看集群状态

1.链接进入6381作为切入点,查看节点状态

shell
docker exec -it redis-node-1
 redis-cli -p 6381
docker exec -it redis-node-1
 redis-cli -p 6381

2.查看集群信息

shell
cluster info
cluster info

image-20221114152412896

3.查看集群节点信息

shell
cluster nodes
cluster nodes

image-20221114152456750

2.主从容错切换迁移案例
1.数据读写存储

启动6机构成的集群并通过exec进入

对6381新增两个key

shell
127.0.0.1:6381> keys *
(empty array)
127.0.0.1:6381> set k1 v1
#使用单机版命令连接redis发现有的key是存入不进去的,原因就是redis
(error) MOVED 12706 192.168.79.124:6383
127.0.0.1:6381> keys *
(empty array)
127.0.0.1:6381> set k1 v1
#使用单机版命令连接redis发现有的key是存入不进去的,原因就是redis
(error) MOVED 12706 192.168.79.124:6383

防止路由失效加参数-c并新增两个key

shell
#集群方式连接redis
redis-cli -p 6381 -c
#集群方式连接redis
redis-cli -p 6381 -c

可以看到数据的读写存储在集群各节点中跳转

image-20221114154352248

查看集群信息

shell
redis-cli --cluster check 192.168.79.124:6381
redis-cli --cluster check 192.168.79.124:6381
2.容错切换迁移

1.主6381和从机切换,先停止主机6381

shell
docker stop redis-node-1
docker stop redis-node-1

6381主机停了,对应的真实从机上位

shell
cluster nodes
cluster nodes

6381挂了,6385从slave转为了master

image-20221114160750721

6381作为1号主机分配的从机以实际情况为准,具体是几号机器就是几号

2.再次查看集群信息

shell
redis-cli --cluster check 192.168.79.124:6385
redis-cli --cluster check 192.168.79.124:6385

image-20221114161013311

3.先还原之前的3主3从

先启6381

shell
docker start redis-node-1
docker start redis-node-1

查看集群状态,发现6381编程了slave,而6385还是master

image-20221114161233588

再停6385

shell
docker stop redis-node-5
docker stop redis-node-5

再启6385

shell
docker start redis-node-5
docker start redis-node-5

主从机器分配情况以实际情况为准

4.查看集群状态

shell
redis-cli --cluster check 自己IP:6381
redis-cli --cluster check 自己IP:6381

可以看到6381转为了master,6385变为了slave

image-20221114161554436

3.主从扩容案例

1.新建6387、6388两个节点+新建后启动+查看是否8节点

shell
docker run -d --name redis-node-7 --net host --privileged=true -v /data/redis/share/redis-node-7:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6387
docker run -d --name redis-node-7 --net host --privileged=true -v /data/redis/share/redis-node-7:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6387
shell
docker run -d --name redis-node-8 --net host --privileged=true -v /data/redis/share/redis-node-8:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6388
docker run -d --name redis-node-8 --net host --privileged=true -v /data/redis/share/redis-node-8:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6388

2.进入6387容器实例内部

shell
docker exec -it redis-node-7 /bin/bash
docker exec -it redis-node-7 /bin/bash

3.将新增的6387节点(空槽号)作为master节点加入原集群

将新增的6387作为master节点加入集群 redis-cli --cluster add-node 自己实际IP地址:6387 自己实际IP地址:6381 6387 就是将要作为master新增节点 6381 就是原来集群节点里面的领路人,相当于6387拜拜6381的码头从而找到组织加入集群

shell
redis-cli --cluster add-node 192.168.79.124:6387 192.168.79.124:6381
redis-cli --cluster add-node 192.168.79.124:6387 192.168.79.124:6381

image-20221114164728366

4.检查集群情况第1次

shell
redis-cli --cluster check 真实ip地址:6381
redis-cli --cluster check 真实ip地址:6381

可以看到6387作为主节点,但还没有分配的槽点,需要重新分配

image-20221114164917207

5.重新分派槽号

shell
#重新分派槽号
#命令:redis-cli --cluster reshard IP地址:端口号
redis-cli --cluster reshard 192.168.79.124:6381
#重新分派槽号
#命令:redis-cli --cluster reshard IP地址:端口号
redis-cli --cluster reshard 192.168.79.124:6381

输入命令后会询问我们如何分配,redis一共有16384个槽位,这里我们平均分配就是16384/4=4096

image-20221114165021726

询问分配的节点ID,对应的就是我们新增的6387节点的id

image-20221114165228128

填入all,将所有节点用作哈希槽的源节点,然后一路yes即可

image-20221114165341560

6.检查集群情况第2次

shell
redis-cli --cluster check 真实ip地址:6381
redis-cli --cluster check 真实ip地址:6381

image-20221114165557293

槽号分派说明

为什么6387是3个新的区间,以前的还是连续? 重新分配成本太高,所以前3家各自匀出来一部分,从6381/6382/6383三个旧节点分别匀出1364个坑位给新节点6387

7.为主节点6387分配从节点6388

shell
#命令:redis-cli --cluster add-node ip:新slave端口 ip:新master端口 --cluster-slave --cluster-master-id 新主机节点ID
 
redis-cli --cluster add-node 192.168.79.124:6388 192.168.79.124:6387 --cluster-slave --cluster-master-id 37fe3aa037f7a536e3c9900da70bfae68fe0831e-------这个是6387的编号,按照自己实际情况
#命令:redis-cli --cluster add-node ip:新slave端口 ip:新master端口 --cluster-slave --cluster-master-id 新主机节点ID
 
redis-cli --cluster add-node 192.168.79.124:6388 192.168.79.124:6387 --cluster-slave --cluster-master-id 37fe3aa037f7a536e3c9900da70bfae68fe0831e-------这个是6387的编号,按照自己实际情况

8.检查集群情况第3次

shell
redis-cli --cluster check 192.168.79.124:6382
redis-cli --cluster check 192.168.79.124:6382

可以看到4主4从的redis集群已经配置好了

image-20221114165720767

4.主从缩容案例

1.目的:6387和6388下线

2.检查集群情况1获得6388的节点ID

shell
redis-cli --cluster check 192.168.79.124:6382
redis-cli --cluster check 192.168.79.124:6382

3.将6388删除从集群中将4号从节点6388删除

shell
#命令:redis-cli --cluster del-node ip:从机端口 从机6388节点ID
redis-cli --cluster del-node 192.168.79.124:6388 81146abc57b471ce833d4f280c9fdc6654440e1e
#命令:redis-cli --cluster del-node ip:从机端口 从机6388节点ID
redis-cli --cluster del-node 192.168.79.124:6388 81146abc57b471ce833d4f280c9fdc6654440e1e

image-20221114175349804

4.将6387的槽号清空,重新分配,本例将清出来的槽号都给6381

shell
redis-cli --cluster reshard 192.168.79.124:6381
redis-cli --cluster reshard 192.168.79.124:6381

5.检查集群情况第二次

shell
redis-cli --cluster check 192.168.79.124:6381
 
#4096个槽位都指给6381,它变成了8192个槽位,相当于全部都给6381了,不然要输入3次,一锅端
redis-cli --cluster check 192.168.79.124:6381
 
#4096个槽位都指给6381,它变成了8192个槽位,相当于全部都给6381了,不然要输入3次,一锅端

image-20221114182150917

6.将6387删除

shell
#命令:redis-cli --cluster del-node ip:端口 6387节点ID
 
redis-cli --cluster del-node 192.168.79.124:6387 37fe3aa037f7a536e3c9900da70bfae68fe0831e
#命令:redis-cli --cluster del-node ip:端口 6387节点ID
 
redis-cli --cluster del-node 192.168.79.124:6387 37fe3aa037f7a536e3c9900da70bfae68fe0831e

7.检查集群情况第三次

shell
redis-cli --cluster check 192.168.79.124:6381
redis-cli --cluster check 192.168.79.124:6381

2.DockerFile解析

1.是什么

Dockerfile是用来构建Docker镜像的文本文件,是由一条条构建镜像所需的指令和参数构成的脚本。

image-20221114185316839

官网:https://docs.docker.com/engine/reference/builder/

构建三步骤:

1.编写Dockerfile文件

2.docker build命令构建镜像

3.docker run依镜像运行容器实例

2.DockerFile构建过程解析

1.Dockerfile内容基础知识

1:每条保留字指令都必须为大写字母且后面要跟随至少一个参数

2:指令按照从上到下,顺序执行

3:#表示注释

4:每条指令都会创建一个新的镜像层并对镜像进行提交

2.Docker执行Dockerfile的大致流程

(1)docker从基础镜像运行一个容器

(2)执行一条指令并对容器作出修改

(3)执行类似docker commit的操作提交一个新的镜像层

(4)docker再基于刚提交的镜像运行一个新容器

(5)执行dockerfile中的下一条指令直到所有指令都执行完成

3.小总结

从应用软件的角度来看,Dockerfile、Docker镜像与Docker容器分别代表软件的三个不同阶段,

  • Dockerfile是软件的原材料
  • Docker镜像是软件的交付品
  • Docker容器则可以认为是软件镜像的运行态,也即依照镜像运行的容器实例 Dockerfile面向开发,Docker镜像成为交付标准,Docker容器则涉及部署与运维,三者缺一不可,合力充当Docker体系的基石。

image-20221114185603247

1 Dockerfile,需要定义一个Dockerfile,Dockerfile定义了进程需要的一切东西。Dockerfile涉及的内容包括执行代码或者是文件、环境变量、依赖包、运行时环境、动态链接库、操作系统的发行版、服务进程和内核进程(当应用进程需要和系统服务和内核进程打交道,这时需要考虑如何设计namespace的权限控制)等等;

2 Docker镜像,在用Dockerfile定义一个文件之后,docker build时会产生一个Docker镜像,当运行 Docker镜像时会真正开始提供服务;

3 Docker容器,容器是直接提供服务的。

3.DockerFile常用保留字指令

1.参考tomcat8的dockerfile入门 https://github.com/docker-library/tomcat

FROM 基础镜像,当前新镜像是基于哪个镜像的,指定一个已经存在的镜像作为模板,第一条必须是from

MAINTAINER 镜像维护者的姓名和邮箱地址

RUN 容器构建时需要运行的命令

两种格式:

  1. shell格式

    image-20221114185826443

    shell
    RUN yum -y install vim
    RUN yum -y install vim
  2. exec格式

    image-20221114185858278

RUN是在 docker build时运行

EXPOSE 当前容器对外暴露出的端口

WORKDIR 指定在创建容器后,终端默认登陆的进来工作目录,一个落脚点

USER 指定该镜像以什么样的用户去执行,如果都不指定,默认是root

ENV 用来在构建镜像过程中设置环境变量

ENV MY_PATH /usr/mytest 这个环境变量可以在后续的任何RUN指令中使用,这就如同在命令前面指定了环境变量前缀一样; 也可以在其它指令中直接使用这些环境变量,

比如:WORKDIR $MY_PATH

ADD 将宿主机目录下的文件拷贝进镜像且会自动处理URL和解压tar压缩包

COPY 类似ADD,拷贝文件和目录到镜像中。将从构建上下文目录中 <源路径> 的文件/目录复制到新的一层的镜像内的 <目标路径> 位置

COPY src dest

COPY ["src", "dest"]

<src源路径>:源文件或者源目录

<dest目标路径>:容器内的指定路径,该路径不用事先建好,路径不存在的话,会自动创建。

VOLUME 容器数据卷,用于数据保存和持久化工作

CMD 指定容器启动后的要干的事情

image-20221114190306935

注意 :

1.Dockerfile 中可以有多个 CMD 指令,但只有最后一个生效,CMD 会被 docker run 之后的参数替换

2.参考官网Tomcat的dockerfile演示讲解

官网最后一行命令

image-20221114190355758

shell
# 这里docker run后面跟了 /bun/bash会替换调CMD["catalina.sh","run"]的参数
# 编程 CMD["/bin/bash","run"] 容器虽然能启动但会导致tomcat无法访问
docker run -it -p 8080:8080 57800e5b1cbf /bin/bash
# 这里docker run后面跟了 /bun/bash会替换调CMD["catalina.sh","run"]的参数
# 编程 CMD["/bin/bash","run"] 容器虽然能启动但会导致tomcat无法访问
docker run -it -p 8080:8080 57800e5b1cbf /bin/bash

它和前面RUN命令的区别

CMD是在docker run 时运行。

RUN是在 docker build时运行。

ENTRYPOINT 也是用来指定一个容器启动时要运行的命令

类似于 CMD 指令,但是ENTRYPOINT不会被docker run后面的命令覆盖, 而且这些命令行参数会被当作参数送给 ENTRYPOINT 指令指定的程序

命令格式和案例说明

命令格式:image-20221114190530560

ENTRYPOINT可以和CMD一起用,一般是变参才会使用 CMD ,这里的 CMD 等于是在给 ENTRYPOINT 传参。 当指定了ENTRYPOINT后,CMD的含义就发生了变化,不再是直接运行其命令而是将CMD的内容作为参数传递给ENTRYPOINT指令,他两个组合会变成image-20221114190553423

案例如下:假设已通过 Dockerfile 构建了 nginx:test 镜像

image-20221114190611522

是否传参按照dockerfile编写执行传参运行
Docker命令docker run nginx:testdocker run nginx:test -c /etc/nginx/new.conf
衍生出的实际命令nginx -c /etc/nginx/nginx.confnginx -c /etc/nginx/new.conf

优点:在执行docker run的时候可以指定 ENTRYPOINT 运行所需的参数。

缺点: 如果 Dockerfile 中如果存在多个 ENTRYPOINT 指令,仅最后一个生效。

image-20221114190752227

4.案例

1.自定义镜像mycentosjava8

1.要求

1.Centos7镜像具备vim+ifconfig+jdk8

2.JDK的下载镜像地址

官网下载地址: https://www.oracle.com/java/technologies/downloads/#java8

image-20221114190958340

https://mirrors.yangxingzhen.com/jdk/

2.编写

准备编写Dockerfile文件,大写字母D

shell
#FROM 指定基础镜像(镜像名称|镜像id)
FROM couchbase/centos7-systemd
#MAINTAINER 镜像维护者的姓名和邮箱地址
MAINTAINER llp<llp@110.com>
#ENV 用来在构建镜像过程中设置环境变量 
ENV MYPATH /usr/local
#WORKDIR 指定在创建容器后,终端默认登陆的进来工作目录,一个落脚点这里就是 /usr/local
WORKDIR $MYPATH

#RUN 容器构建时需要运行的命令
#安装vim编辑器
RUN yum -y install vim
#安装ifconfig命令查看网络IP
RUN yum -y install net-tools
#安装java8及lib库
RUN yum -y install glibc.i686
RUN mkdir /usr/local/java
#ADD 是相对路径jar,把jdk-8u171-linux-x64.tar.gz添加到容器中,安装包必须要和Dockerfile文件在同一位置
#ADD 将宿主机目录下的文件拷贝进镜像且会自动处理URL和解压tar压缩包
ADD jdk-8u311-linux-x64.tar.gz /usr/local/java/
#配置java环境变量
ENV JAVA_HOME /usr/local/java/jdk1.8.0_311
ENV JRE_HOME $JAVA_HOME/jre
ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
ENV PATH $JAVA_HOME/bin:$PATH

#当前容器对外暴露出的端口 
EXPOSE 80

# 指定容器启动后的要干的事情
CMD echo $MYPATH
CMD echo "success--------------ok"
CMD /bin/bash
#FROM 指定基础镜像(镜像名称|镜像id)
FROM couchbase/centos7-systemd
#MAINTAINER 镜像维护者的姓名和邮箱地址
MAINTAINER llp<llp@110.com>
#ENV 用来在构建镜像过程中设置环境变量 
ENV MYPATH /usr/local
#WORKDIR 指定在创建容器后,终端默认登陆的进来工作目录,一个落脚点这里就是 /usr/local
WORKDIR $MYPATH

#RUN 容器构建时需要运行的命令
#安装vim编辑器
RUN yum -y install vim
#安装ifconfig命令查看网络IP
RUN yum -y install net-tools
#安装java8及lib库
RUN yum -y install glibc.i686
RUN mkdir /usr/local/java
#ADD 是相对路径jar,把jdk-8u171-linux-x64.tar.gz添加到容器中,安装包必须要和Dockerfile文件在同一位置
#ADD 将宿主机目录下的文件拷贝进镜像且会自动处理URL和解压tar压缩包
ADD jdk-8u311-linux-x64.tar.gz /usr/local/java/
#配置java环境变量
ENV JAVA_HOME /usr/local/java/jdk1.8.0_311
ENV JRE_HOME $JAVA_HOME/jre
ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
ENV PATH $JAVA_HOME/bin:$PATH

#当前容器对外暴露出的端口 
EXPOSE 80

# 指定容器启动后的要干的事情
CMD echo $MYPATH
CMD echo "success--------------ok"
CMD /bin/bash
3.构建

docker build -t 新镜像名字:TAG .

shell
#centosjava8:1.5 镜像名称:TAG
#注意后面有一个 '.' 表示在当前目录下进行构建(Dockerfile所在目录)
docker build -t centosjava8:1.5 .
#centosjava8:1.5 镜像名称:TAG
#注意后面有一个 '.' 表示在当前目录下进行构建(Dockerfile所在目录)
docker build -t centosjava8:1.5 .

image-20221115113800029

image-20221115115755608

4.运行

docker run -it 新镜像名字:TAG

再体会下UnionFS(联合文件系统)

UnionFS(联合文件系统):Union文件系统(UnionFS)是一种分层、轻量级并且高性能的文件系统,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem)。Union 文件系统是 Docker 镜像的基础。镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。

image-20221114191403760

特性:一次同时加载多个文件系统,但从外面看起来,只能看到一个文件系统,联合加载会把各层文件系统叠加起来,这样最终的文件系统会包含所有底层的文件和目录

2.虚悬镜像

1.是什么

仓库名、标签都是<none>的镜像,俗称dangling image

制造一个虚悬镜像

vim Dockerfile

shell
from ubuntu
CMD echo 'action is success'
from ubuntu
CMD echo 'action is success'
shell
docker build .
docker build .

image-20221115120642563

2.查看虚悬镜像
shell
docker image ls -f dangling=true
docker image ls -f dangling=true

命令结果

image-20221115120656393

3.删除所有虚悬镜像
shell
docker image prune
docker image prune

虚悬镜像已经失去存在价值,可以删除

3.自定义镜像myubuntu

1.编写

准备编写DockerFile文件

shell
FROM ubuntu
MAINTAINER llp<llp@123.com>
 
ENV MYPATH /usr/local
WORKDIR $MYPATH
 
RUN apt-get update
RUN apt-get install net-tools
#RUN apt-get install -y iproute2
#RUN apt-get install -y inetutils-ping
 
EXPOSE 80
 
CMD echo $MYPATH
CMD echo "install inconfig cmd into ubuntu success--------------ok"
CMD /bin/bash
FROM ubuntu
MAINTAINER llp<llp@123.com>
 
ENV MYPATH /usr/local
WORKDIR $MYPATH
 
RUN apt-get update
RUN apt-get install net-tools
#RUN apt-get install -y iproute2
#RUN apt-get install -y inetutils-ping
 
EXPOSE 80
 
CMD echo $MYPATH
CMD echo "install inconfig cmd into ubuntu success--------------ok"
CMD /bin/bash
2.构建
shell
docker build -t 新镜像名字:TAG .
docker build -t 新镜像名字:TAG .
shell
docker build -t myubuntu:1.0 .
docker build -t myubuntu:1.0 .
3.运行
shell
docker run -it 新镜像名字:TAG
docker run -it 新镜像名字:TAG
shell
docker run -t myubuntu:1.0
docker run -t myubuntu:1.0

image-20221115121126791

5.小总结

image-20221114191837047

3.Docker微服务实战

1.通过IDEA新建一个普通微服务模块

image-20221115123146069

image-20221115123225033

这里以我本地的一个微服务llpliving-ossservice为例,只有一个接口,通过ip:prot/oss/policy进行访问,示例如下

image-20221115123348897

2.通过dockerfile发布微服务部署到docker容器

1.IDEA工具里面搞定微服务jar包

image-20221115123641526

2.拉取java8镜像

shell
docker pull java:8
docker pull java:8

3.编写Dockerfile

shell
# 基础镜像使用java
FROM java:8
# 作者
MAINTAINER llp
# VOLUME 指定临时文件目录为/tmp,在主机/var/lib/docker目录下创建了一个临时文件并链接到容器的/tmp
VOLUME /tmp
# 将jar包添加到容器中并更名为llp_osss_docker.jar
ADD llpliving-ossservice-1.0-SNAPSHOT.jar llp_osss_docker.jar
# 运行jar包
RUN bash -c 'touch /llp_osss_docker.jar'
ENTRYPOINT ["java","-jar","/llp_osss_docker.jar"]
#暴露7070端口作为微服务
EXPOSE 7070
# 基础镜像使用java
FROM java:8
# 作者
MAINTAINER llp
# VOLUME 指定临时文件目录为/tmp,在主机/var/lib/docker目录下创建了一个临时文件并链接到容器的/tmp
VOLUME /tmp
# 将jar包添加到容器中并更名为llp_osss_docker.jar
ADD llpliving-ossservice-1.0-SNAPSHOT.jar llp_osss_docker.jar
# 运行jar包
RUN bash -c 'touch /llp_osss_docker.jar'
ENTRYPOINT ["java","-jar","/llp_osss_docker.jar"]
#暴露7070端口作为微服务
EXPOSE 7070

3.构建镜像

shell
docker build -t llp_osss_docker:1.6 .
docker build -t llp_osss_docker:1.6 .

image-20221115133017199

4.运行容器

shell
docker run -d -p 7070:7070 llp_osss_docker:1.6
docker run -d -p 7070:7070 llp_osss_docker:1.6

5.访问测试

image-20221115133409377

4.Docker网络

1.是什么

docker不启动,默认网络情况

ens33

lo

virbr0

在CentOS7的安装过程中如果有选择相关虚拟化的的服务安装系统后,启动网卡时会发现有一个以网桥连接的私网地址的virbr0网卡(virbr0网卡:它还有一个固定的默认IP地址192.168.122.1),是做虚拟机网桥的使用的,其作用是为连接其上的虚机网卡提供 NAT访问外网的功能。

我们之前学习Linux安装,勾选安装系统的时候附带了libvirt服务才会生成的一个东西,如果不需要可以直接将libvirtd服务卸载, yum remove libvirt-libs.x86_64

2.docker启动后,网络情况

查看docker网络模式命令,会产生一个名为docker0的虚拟网桥

image-20221115134558916

默认创建3大网络模式

shell
docker network ls
docker network ls

image-20221115134639359

3.常用基本命令

1.All命令

shell
docker network --help
docker network --help

image-20221115164059210

2.查看网络 docker network ls

shell
[root@192 tmp]# docker network ls
NETWORK ID     NAME      DRIVER    SCOPE
363f7e2c969c   bridge    bridge    local
07edf3f8a8e5   host      host      local
f1decabbf31d   none      null      local
[root@192 tmp]# docker network ls
NETWORK ID     NAME      DRIVER    SCOPE
363f7e2c969c   bridge    bridge    local
07edf3f8a8e5   host      host      local
f1decabbf31d   none      null      local

3.查看网络源数据

docker network inspect XXX网络名字

shell
docker network inspect bridge
docker network inspect bridge

image-20221115164227177

4.删除网络

docker network rm XXX网络名字

shell
#默认网络模式为bridge
docker network create aa_bb
docker network rm aa_bb
#默认网络模式为bridge
docker network create aa_bb
docker network rm aa_bb

4.能干嘛

1.容器间的互联和通信以及端口映射

2.容器IP变动时候可以通过服务名直接网络通信而不受到影响

5.网络模式

1.总体介绍

bridge模式:使用--network bridge指定,默认使用docker0

host模式:使用--network host指定

none模式:使用--network none指定

container模式:使用--network container:NAME或者容器ID指定

2.容器实例内默认网络IP生产规则

1.说明

1 先启动两个ubuntu容器实例

ctrl+q+p退出,容器不停止

shell
docker run -it --name u1 ubuntu bash
docker run -it --name u2 ubuntu bash
docker run -it --name u1 ubuntu bash
docker run -it --name u2 ubuntu bash

2 docker inspect 容器ID or 容器名字

shell
docker inspect u1
docker inspect u2
docker inspect u1
docker inspect u2

image-20221115165824264

image-20221115165904919

3.关闭u2实例,新建u3,查看ip变化

shell
docker run -it --name u3 ubuntu bash
docker run -it --name u3 ubuntu bash

image-20221115170048442

2.结论:docker容器内部的ip是有可能会发生改变的

3.案例说明

1.bridge

是什么?

Docker 服务默认会创建一个 docker0 网桥(其上有一个 docker0 内部接口),该桥接网络的名称为docker0,它在内核层连通了其他的物理或虚拟网卡,这就将所有容器和本地主机都放到同一个物理网络。Docker 默认指定了 docker0 接口 的 IP 地址和子网掩码,让主机和容器之间可以通过网桥相互通信。

shell
# 查看 bridge 网络的详细信息,并通过 grep 获取名称项
docker network inspect bridge | grep name

ifconfig
# 查看 bridge 网络的详细信息,并通过 grep 获取名称项
docker network inspect bridge | grep name

ifconfig

案例

说明:

1 Docker使用Linux桥接,在宿主机虚拟一个Docker容器网桥(docker0),Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址,称为Container-IP,同时Docker网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥,这样容器之间就能够通过容器的Container-IP直接通信。

2 docker run 的时候,没有指定network的话默认使用的网桥模式就是bridge,使用的就是docker0。在宿主机ifconfig,就可以看到docker0和自己create的network(后面讲)eth0,eth1,eth2……代表网卡一,网卡二,网卡三……,lo代表127.0.0.1,即localhost,inet addr用来表示网卡的IP地址

3 网桥docker0创建一对对等虚拟设备接口一个叫veth,另一个叫eth0,成对匹配。 3.1 整个宿主机的网桥模式都是docker0,类似一个交换机有一堆接口,每个接口叫veth,在本地主机和容器内分别创建一个虚拟接口,并让他们彼此联通(这样一对接口叫veth pair); 3.2 每个容器实例内部也有一块网卡,每个接口叫eth0; 3.3 docker0上面的每个veth匹配某个容器实例内部的eth0,两两配对,一一匹配。 通过上述,将宿主机上的所有容器都连接到这个内部网络上,两个容器在同一个网络下,会从这个网关下各自拿到分配的ip,此时两个容器的网络是互通的。

image-20221114192729057

代码:

shell
docker run -d -p 8081:8080   --name tomcat81 billygoo/tomcat8-jdk8
docker run -d -p 8082:8080   --name tomcat82 billygoo/tomcat8-jdk8
docker run -d -p 8081:8080   --name tomcat81 billygoo/tomcat8-jdk8
docker run -d -p 8082:8080   --name tomcat82 billygoo/tomcat8-jdk8

两两匹配验证

image-20221115170638199

image-20221115171006193

2.host

是什么

直接使用宿主机的 IP 地址与外界进行通信,不再需要额外进行NAT 转换。

案例

说明

容器将不会获得一个独立的Network Namespace, 而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡而是使用宿主机的IP和端口。

image-20221114192914851

代码

警告

shell
docker run -d -p 8083:8080 --network host --name tomcat83 billygoo/tomcat8-jdk8
docker run -d -p 8083:8080 --network host --name tomcat83 billygoo/tomcat8-jdk8

问题: docke启动时总是遇见标题中的警告 原因: docker启动时指定--network=host或-net=host,如果还指定了-p映射端口,那这个时候就会有此警告, 并且通过-p设置的参数将不会起到任何作用,端口号会以主机端口号为主,重复时则递增。 解决: 解决的办法就是使用docker的其他网络模式,例如--network=bridge,这样就可以解决问题,或者直接无视。。。。O(∩_∩)O哈哈~

正确

shell
docker run -d  --network host --name tomcat83 billygoo/tomcat8-jdk8
docker run -d  --network host --name tomcat83 billygoo/tomcat8-jdk8

无之前的配对显示了,看容器实例内部

没有设置-p的端口映射了,如何访问启动的tomcat83??

http://宿主机IP:8080/

在CentOS里面用默认的火狐浏览器访问容器内的tomcat83看到访问成功,因为此时容器的IP借用主机的, 所以容器共享宿主机网络IP,这样的好处是外部主机与容器可以直接通信。

3.none

是什么

禁用网络功能,只有lo标识(就是127.0.0.1表示本地回环)

在none模式下,并不为Docker容器进行任何网络配置。 也就是说,这个Docker容器没有网卡、IP、路由等信息,只有一个lo 需要我们自己为Docker容器添加网卡、配置IP等。

案例

shell
docker run -d -p 8084:8080 --network none --name tomcat84 billygoo/tomcat8-jdk8
docker run -d -p 8084:8080 --network none --name tomcat84 billygoo/tomcat8-jdk8

image-20221115172315524

4.container

是什么

container⽹络模式 新建的容器和已经存在的一个容器共享一个网络ip配置而不是和宿主机共享。新创建的容器不会创建自己的网卡,配置自己的IP,而是和一个指定的容器共享IP、端口范围等。同样,两个容器除了网络方面,其他的如文件系统、进程列表等还是隔离的。

案例

shell
docker run -d -p 8085:8080  --name tomcat85 billygoo/tomcat8-jdk8
docker run -d -p 8085:8080  --name tomcat85 billygoo/tomcat8-jdk8
shell
docker run -d -p 8086:8080 --network container:tomcat85 --name tomcat86 billygoo/tomcat8-jdk8
docker run -d -p 8086:8080 --network container:tomcat85 --name tomcat86 billygoo/tomcat8-jdk8

docker: Error response from daemon: conflicting options: port publishing and the container type network mode. See 'docker run --help'.

相当于tomcat86和tomcat85公用同一个ip同一个端口,导致端口冲突 本案例用tomcat演示不合适。。。演示坑。。。。。。o(╥﹏╥)o

案例2

Alpine操作系统是一个面向安全的轻型 Linux发行版

Alpine Linux 是一款独立的、非商业的通用 Linux 发行版,专为追求安全性、简单性和资源效率的用户而设计。 可能很多人没听说过这个 Linux 发行版本,但是经常用 Docker 的朋友可能都用过,因为他小,简单,安全而著称,所以作为基础镜像是非常好的一个选择,可谓是麻雀虽小但五脏俱全,镜像非常小巧,不到 6M的大小,所以特别适合容器打包。

shell
docker run -it  --name alpine1  alpine /bin/sh
docker run -it  --name alpine1  alpine /bin/sh
shell
docker run -it --network container:alpine1 --name alpine2  alpine /bin/sh
docker run -it --network container:alpine1 --name alpine2  alpine /bin/sh

运行结果,验证共用搭桥

假如此时关闭alpine1,再看看alpine2

alpine1

image-20221115173648944

alpine2

image-20221115173741653

结论:可以看到container模式,alpine2是公用alpine1的网卡

5.自定义网络

1.过时的link

image-20221114193607953

2.是什么

3.案例

before

1.案例

shell
docker run -d -p 8081:8080   --name tomcat81 billygoo/tomcat8-jdk8
docker run -d -p 8081:8080   --name tomcat81 billygoo/tomcat8-jdk8
shell
docker run -d -p 8082:8080   --name tomcat82 billygoo/tomcat8-jdk8
docker run -d -p 8082:8080   --name tomcat82 billygoo/tomcat8-jdk8

上述成功启动并用docker exec进入各自容器实例内部

2.问题

按照IP地址ping是OK的

image-20221115180325554

按照服务名ping,是ping不通的

image-20221115180416649

after

自定义桥接网络,自定义网络默认使用的是桥接网络bridge

新建自定义网络

shell
docker network create llp_network
docker network ls
NETWORK ID     NAME          DRIVER    SCOPE
363f7e2c969c   bridge        bridge    local
07edf3f8a8e5   host          host      local
e9949d0ed862   llp_network   bridge    local
f1decabbf31d   none          null      local
docker network create llp_network
docker network ls
NETWORK ID     NAME          DRIVER    SCOPE
363f7e2c969c   bridge        bridge    local
07edf3f8a8e5   host          host      local
e9949d0ed862   llp_network   bridge    local
f1decabbf31d   none          null      local

新建容器加入上一步新建的自定义网络

shell
docker run -d -p 8081:8080 --network llp_network  --name tomcat81 billygoo/tomcat8-jdk8
docker run -d -p 8081:8080 --network llp_network  --name tomcat81 billygoo/tomcat8-jdk8
shell
docker run -d -p 8082:8080 --network llp_network  --name tomcat82 billygoo/tomcat8-jdk8
docker run -d -p 8082:8080 --network llp_network  --name tomcat82 billygoo/tomcat8-jdk8

使用自建的bridge网桥模式,按照服务名ping互相ping测试是通的

image-20221115180720680

问题结论

自定义网络本身就维护好了主机名和ip的对应关系(ip和域名都能通)!!!

4.Docker平台架构图解

1.整体说明

从其架构和运行流程来看,Docker 是一个 C/S 模式的架构,后端是一个松耦合架构,众多模块各司其职。

Docker 运行的基本流程为:

1 用户是使用 Docker Client 与 Docker Daemon 建立通信,并发送请求给后者。 2 Docker Daemon 作为 Docker 架构中的主体部分,首先提供 Docker Server 的功能使其可以接受 Docker Client 的请求。 3 Docker Engine 执行 Docker 内部的一系列工作,每一项工作都是以一个 Job 的形式的存在。 4 Job 的运行过程中,当需要容器镜像时,则从 Docker Registry 中下载镜像,并通过镜像管理驱动 Graph driver将下载镜像以Graph的形式存储。 5 当需要为 Docker 创建网络环境时,通过网络管理驱动 Network driver 创建并配置 Docker 容器网络环境。 6 当需要限制 Docker 容器运行资源或执行用户指令等操作时,则通过 Execdriver 来完成。 7 Libcontainer是一项独立的容器管理包,Network driver以及Exec driver都是通过Libcontainer来实现具体对容器进行的操作。

2.整体架构

image-20221114194006119

5.Docker-compose容器编排

1.是什么

Compose 是 Docker 公司推出的一个工具软件,可以管理多个 Docker 容器组成一个应用。你需要定义一个 YAML 格式的配置文件docker-compose.yml,写好多个容器之间的调用关系。然后,只要一个命令,就能同时启动/关闭这些容器

Docker-Compose是Docker官方的开源项目,负责实现对Docker容器集群的快速编排。

2.能干嘛

docker建议我们每一个容器中只运行一个服务,因为docker容器本身占用资源极少,所以最好是将每个服务单独的分割开来但是这样我们又面临了一个问题?

如果我需要同时部署好多个服务,难道要每个服务单独写Dockerfile然后在构建镜像,构建容器,这样累都累死了,所以docker官方给我们提供了docker-compose多服务部署的工具

例如要实现一个Web微服务项目,除了Web服务容器本身,往往还需要再加上后端的数据库mysql服务容器,redis服务器,注册中心eureka,甚至还包括负载均衡容器等等。。。。。。

Compose允许用户通过一个单独的docker-compose.yml模板文件(YAML 格式)来定义一组相关联的应用容器为一个项目(project)。

可以很容易地用一个配置文件定义一个多容器的应用,然后使用一条指令安装这个应用的所有依赖,完成构建。Docker-Compose 解决了容器与容器之间如何管理编排的问题。

3.去哪下

官网:https://docs.docker.com/compose/compose-file/compose-file-v3/

官网下载: https://docs.docker.com/compose/install/

安装步骤:

shell
# 直接下载
curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
# 下载完成之后设置权限
sudo chmod +x /usr/local/bin/docker-compose
# 查看版本号
docker-compose --version
# 卸载
sudo rm /usr/local/bin/docker-compose
# 直接下载
curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
# 下载完成之后设置权限
sudo chmod +x /usr/local/bin/docker-compose
# 查看版本号
docker-compose --version
# 卸载
sudo rm /usr/local/bin/docker-compose

卸载步骤:

image-20221114194248797

4.Compose核心概念

一文件: docker-compose.yml

两要素:

1.服务(service)

一个个应用容器实例,比如订单微服务、库存微服务、mysql容器、nginx容器或者redis容器

2.工程(project)

由一组关联的应用容器组成的一个完整业务单元,在 docker-compose.yml 文件中定义。

5.Compose使用的三个步骤

1.编写Dockerfile定义各个微服务应用并构建出对应的镜像文件

2.使用 docker-compose.yml 定义一个完整业务单元,安排好整体应用中的各个容器服务。

3.最后,执行docker-compose up命令 来启动并运行整个应用程序,完成一键部署上线

6.Compose常用命令

shell
Compose常用命令
docker-compose -h                           # 查看帮助
docker-compose up                           # 启动所有docker-compose服务
docker-compose up -d                        # 启动所有docker-compose服务并后台运行
docker-compose down                         # 停止并删除容器、网络、卷、镜像。
docker-compose exec  yml里面的服务id                 # 进入容器实例内部  docker-compose exec docker-compose.yml文件中写的服务id /bin/bash
docker-compose ps                      # 展示当前docker-compose编排过的运行的所有容器
docker-compose top                     # 展示当前docker-compose编排过的容器进程
 
docker-compose logs  yml里面的服务id     # 查看容器输出日志
docker-compose config     # 检查配置
docker-compose config -q  # 检查配置,有问题才有输出
docker-compose restart   # 重启服务
docker-compose start     # 启动服务
docker-compose stop      # 停止服务
Compose常用命令
docker-compose -h                           # 查看帮助
docker-compose up                           # 启动所有docker-compose服务
docker-compose up -d                        # 启动所有docker-compose服务并后台运行
docker-compose down                         # 停止并删除容器、网络、卷、镜像。
docker-compose exec  yml里面的服务id                 # 进入容器实例内部  docker-compose exec docker-compose.yml文件中写的服务id /bin/bash
docker-compose ps                      # 展示当前docker-compose编排过的运行的所有容器
docker-compose top                     # 展示当前docker-compose编排过的容器进程
 
docker-compose logs  yml里面的服务id     # 查看容器输出日志
docker-compose config     # 检查配置
docker-compose config -q  # 检查配置,有问题才有输出
docker-compose restart   # 重启服务
docker-compose start     # 启动服务
docker-compose stop      # 停止服务

7.Compose编排微服务

1.搭建一个微服务工程

image-20221115211624653

mvn package命令将微服务形成新的jar包,并上传到Linux服务器/test目录下

编写Dockerfile

shell
# 基础镜像使用java
FROM java:8
# 作者
MAINTAINER llp
# VOLUME 指定临时文件目录为/tmp,在主机/var/lib/docker目录下创建了一个临时文件并链接到容器的/tmp
VOLUME /tmp
# 将jar包添加到容器
ADD service-system.jar llp-auth-parent.jar
# 运行jar包
RUN bash -c 'touch /llp-auth-parent.jar'
ENTRYPOINT ["java","-jar","/llp-auth-parent.jar"]
#暴露8800端口作为微服务
EXPOSE 8800
# 基础镜像使用java
FROM java:8
# 作者
MAINTAINER llp
# VOLUME 指定临时文件目录为/tmp,在主机/var/lib/docker目录下创建了一个临时文件并链接到容器的/tmp
VOLUME /tmp
# 将jar包添加到容器
ADD service-system.jar llp-auth-parent.jar
# 运行jar包
RUN bash -c 'touch /llp-auth-parent.jar'
ENTRYPOINT ["java","-jar","/llp-auth-parent.jar"]
#暴露8800端口作为微服务
EXPOSE 8800

构建镜像

shell
# 镜像名称:TAG 
#. 表示当前路径下(Dockerfile的目录)
docker build -t llp-auth-parent:1.6 .
# 镜像名称:TAG 
#. 表示当前路径下(Dockerfile的目录)
docker build -t llp-auth-parent:1.6 .

2.不用Compose

修改项目application.yml配置文件

yaml
spring:
  application:
    name: service-system
  profiles:
    active: dev
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://192.168.79.124:3307/guigu-auth?characterEncoding=utf-8&useSSL=false
    username: root
    password: root
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8
  redis:
    host: 192.168.79.124
    port: 6379
    database: 0
    timeout: 1800000
    password:
    jedis:
      pool:
        max-active: 20 #最大连接数
        max-wait: -1    #最大阻塞等待时间(负数表示没限制)
        max-idle: 5    #最大空闲
        min-idle: 0     #最小空闲



mybatis-plus:
  configuration:
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl # 查看日志
  mapper-locations: classpath*:/mapper/**/*.xml
spring:
  application:
    name: service-system
  profiles:
    active: dev
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://192.168.79.124:3307/guigu-auth?characterEncoding=utf-8&useSSL=false
    username: root
    password: root
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8
  redis:
    host: 192.168.79.124
    port: 6379
    database: 0
    timeout: 1800000
    password:
    jedis:
      pool:
        max-active: 20 #最大连接数
        max-wait: -1    #最大阻塞等待时间(负数表示没限制)
        max-idle: 5    #最大空闲
        min-idle: 0     #最小空闲



mybatis-plus:
  configuration:
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl # 查看日志
  mapper-locations: classpath*:/mapper/**/*.xml

单独的mysql容器实例

shell
docker run -p 3307:3306 --name mysql-3307 \
-v /mydata/mysql/log:/var/log/mysql \
-v /mydata/mysql/data:/var/lib/mysql \
-v /mydata/mysql/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root  \
-d mysql:5.7
docker run -p 3307:3306 --name mysql-3307 \
-v /mydata/mysql/log:/var/log/mysql \
-v /mydata/mysql/data:/var/lib/mysql \
-v /mydata/mysql/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root  \
-d mysql:5.7

执行项目sql脚本

单独的redis容器实例

shell
docker run  -p 6379:6379 --name redis608 --privileged=true -v /app/redis/redis.conf:/etc/redis/redis.conf -v /app/redis/data:/data -d redis:6.0.8 redis-server /etc/redis/redis.conf
docker run  -p 6379:6379 --name redis608 --privileged=true -v /app/redis/redis.conf:/etc/redis/redis.conf -v /app/redis/data:/data -d redis:6.0.8 redis-server /etc/redis/redis.conf

微服务工程

shell
docker run -d -p 8800:8800 llp-auth-parent:1.6
docker run -d -p 8800:8800 llp-auth-parent:1.6

上面三个容器实例依次顺序启动成功

image-20221115215809696

上面成功了,有哪些问题?

先后顺序要求固定,先mysql+redis才能微服务访问成功

多个run命令......

容器间的启停或宕机,有可能导致IP地址对应的容器实例变化,映射出错, 要么生产IP写死(可以但是不推荐),要么通过服务调用

4.使用Compose

1.docker容器之间通过宿主机ip:port的方式进行连接

1.编写docker-compose.yml文件

shell
#版本
version: "3"

#有几个服务
services:
#microService 服务名字 名字随意不冲突即可
  microService:
    #镜像名称:TAG
    image: llp-auth-parent:1.6
    #指定容器名
    container_name: llp-auth-parent
    #端口映射,宿主机端口8800:容器端口8800
    ports:
      - "8800:8800"
      #数据卷挂载 宿主机目录/app/microService 挂载 容器data目录
    volumes:
      - /app/microService:/data
      #指定网络模式,为llp_net自定义模式,这样可以通过服务名|ip进行通讯
    networks: 
      - llp_net 
      #容器启动依赖于其他的容器,即启动容器之前会先启动依赖的容器
    depends_on: 
      - redis
      - mysql
 
 #服务名redis  容器没有指定容器名,会以 "当前所在目录名_redis" 作为容器名称
  redis:
    image: redis:6.0.8
    ports:
      - "6379:6379"
    volumes:
      - /app/redis/redis.conf:/etc/redis/redis.conf
      - /app/redis/data:/data
    networks: 
      - llp_net
      #指定配置文件进行启动
    command: redis-server /etc/redis/redis.conf
 
 #服务名mysql
  mysql:
    image: mysql:5.7
    environment:
      MYSQL_ROOT_PASSWORD: 'root'
      MYSQL_ALLOW_EMPTY_PASSWORD: 'no'
      MYSQL_DATABASE: 'guigu-auth'
      MYSQL_USER: 'llp'
      MYSQL_PASSWORD: 'llp123'
    ports:
       - "3307:3306"
    volumes:
       - /app/mysql/db:/var/lib/mysql
       - /app/mysql/conf/my.cnf:/etc/my.cnf
       - /app/mysql/init:/docker-entrypoint-initdb.d
    networks:
      - llp_net
      #解决外部无法访问
    command: --default-authentication-plugin=mysql_native_password 
#指定自定义网络名,最终名字是 "当前目录_网络名" test_llp_net
networks: 
   llp_net:
#版本
version: "3"

#有几个服务
services:
#microService 服务名字 名字随意不冲突即可
  microService:
    #镜像名称:TAG
    image: llp-auth-parent:1.6
    #指定容器名
    container_name: llp-auth-parent
    #端口映射,宿主机端口8800:容器端口8800
    ports:
      - "8800:8800"
      #数据卷挂载 宿主机目录/app/microService 挂载 容器data目录
    volumes:
      - /app/microService:/data
      #指定网络模式,为llp_net自定义模式,这样可以通过服务名|ip进行通讯
    networks: 
      - llp_net 
      #容器启动依赖于其他的容器,即启动容器之前会先启动依赖的容器
    depends_on: 
      - redis
      - mysql
 
 #服务名redis  容器没有指定容器名,会以 "当前所在目录名_redis" 作为容器名称
  redis:
    image: redis:6.0.8
    ports:
      - "6379:6379"
    volumes:
      - /app/redis/redis.conf:/etc/redis/redis.conf
      - /app/redis/data:/data
    networks: 
      - llp_net
      #指定配置文件进行启动
    command: redis-server /etc/redis/redis.conf
 
 #服务名mysql
  mysql:
    image: mysql:5.7
    environment:
      MYSQL_ROOT_PASSWORD: 'root'
      MYSQL_ALLOW_EMPTY_PASSWORD: 'no'
      MYSQL_DATABASE: 'guigu-auth'
      MYSQL_USER: 'llp'
      MYSQL_PASSWORD: 'llp123'
    ports:
       - "3307:3306"
    volumes:
       - /app/mysql/db:/var/lib/mysql
       - /app/mysql/conf/my.cnf:/etc/my.cnf
       - /app/mysql/init:/docker-entrypoint-initdb.d
    networks:
      - llp_net
      #解决外部无法访问
    command: --default-authentication-plugin=mysql_native_password 
#指定自定义网络名,最终名字是 "当前目录_网络名" test_llp_net
networks: 
   llp_net:

2.执行指令启动容器

shell
#控制台启动
docker-compose up
#后台启动
docker-compose up -d
#控制台启动
docker-compose up
#后台启动
docker-compose up -d

image-20221116091434034

启动成功,执行项目相关sql脚本进行测试

image-20221116091713384

2.docker容器之间通过服务名进行连接

1.修改项目配置文件,采用服务名的方式进行连接

前面我们yml配置文件中连接mysql、redis都是通过ip:port的方式连接,这样会有一个问题,当单独去删除重启容器时docker容器内部的ip是有可能会发生改变的,而在编写docker-compose.yml时采用了docker自定义网络,可以容器和容器之间通过服务名进行通讯,而不必关心ip的变化。

注意,下面mysql和reids连接的配置,通过服务名进行连接。这样直接通过docker容器内部互联可以少走一次网卡 ,直接docker虚拟的局域网交互节省一点资源

yaml
spring:
  application:
    name: service-system
  profiles:
    active: dev
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://mysql:3307/guigu-auth?characterEncoding=utf-8&useSSL=false
    username: root
    password: root
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8
  redis:
    host: redis
    port: 6379
    database: 0
    timeout: 1800000
    password:
    jedis:
      pool:
        max-active: 20 #最大连接数
        max-wait: -1    #最大阻塞等待时间(负数表示没限制)
        max-idle: 5    #最大空闲
        min-idle: 0     #最小空闲



mybatis-plus:
  configuration:
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl # 查看日志
  mapper-locations: classpath*:/mapper/**/*.xml
spring:
  application:
    name: service-system
  profiles:
    active: dev
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://mysql:3307/guigu-auth?characterEncoding=utf-8&useSSL=false
    username: root
    password: root
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8
  redis:
    host: redis
    port: 6379
    database: 0
    timeout: 1800000
    password:
    jedis:
      pool:
        max-active: 20 #最大连接数
        max-wait: -1    #最大阻塞等待时间(负数表示没限制)
        max-idle: 5    #最大空闲
        min-idle: 0     #最小空闲



mybatis-plus:
  configuration:
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl # 查看日志
  mapper-locations: classpath*:/mapper/**/*.xml

2.启动容器

shell
docker-compose up
或者
docker-compose up -d
docker-compose up
或者
docker-compose up -d

3.测试通过

image-20221116094122378

image-20221116094156438

4.Compose常用命令

shell
Compose常用命令
docker-compose -h                           # 查看帮助
docker-compose up                           # 启动所有docker-compose服务
docker-compose up -d                        # 启动所有docker-compose服务并后台运行
docker-compose down                         # 停止并删除容器、网络、卷、镜像。
docker-compose exec  yml里面的服务id                 # 进入容器实例内部  docker-compose exec docker-compose.yml文件中写的服务id /bin/bash
docker-compose ps                      # 展示当前docker-compose编排过的运行的所有容器
docker-compose top                     # 展示当前docker-compose编排过的容器进程
 
docker-compose logs  yml里面的服务id     # 查看容器输出日志
dokcer-compose config     # 检查配置
dokcer-compose config -q  # 检查配置,有问题才有输出
docker-compose restart   # 重启服务
docker-compose start     # 启动服务
docker-compose stop      # 停止服务
Compose常用命令
docker-compose -h                           # 查看帮助
docker-compose up                           # 启动所有docker-compose服务
docker-compose up -d                        # 启动所有docker-compose服务并后台运行
docker-compose down                         # 停止并删除容器、网络、卷、镜像。
docker-compose exec  yml里面的服务id                 # 进入容器实例内部  docker-compose exec docker-compose.yml文件中写的服务id /bin/bash
docker-compose ps                      # 展示当前docker-compose编排过的运行的所有容器
docker-compose top                     # 展示当前docker-compose编排过的容器进程
 
docker-compose logs  yml里面的服务id     # 查看容器输出日志
dokcer-compose config     # 检查配置
dokcer-compose config -q  # 检查配置,有问题才有输出
docker-compose restart   # 重启服务
docker-compose start     # 启动服务
docker-compose stop      # 停止服务

5.关停

shell
docker-compose stop
docker-compose stop

6.Docker轻量级可视化工具Portainer

1.是什么

Portainer 是一款轻量级的应用,它提供了图形化界面,用于方便地管理Docker环境,包括单机环境和集群环境。

2.安装

1.官网

https://www.portainer.io/

2.步骤

https://docs.portainer.io/v/ce-2.9/start/install/server/docker/linux

1.docker命令安装

shell
docker run -d -p 8000:8000 -p 9000:9000 --name portainer     --restart=always     -v /var/run/docker.sock:/var/run/docker.sock     -v portainer_data:/data     portainer/portainer
docker run -d -p 8000:8000 -p 9000:9000 --name portainer     --restart=always     -v /var/run/docker.sock:/var/run/docker.sock     -v portainer_data:/data     portainer/portainer

2.第一次登录需创建admin,访问地址:ip:9000

用户名,直接用默认admin,密码记得8位,随便你写

image-20221116101316428

3.设置admin用户和密码后首次登陆

image-20221116101335667

4.选择local选项卡后本地docker详细信息展示

image-20221116101354451

5.上一步的图形展示,能想得起对应命令吗?

shell
docker system df
docker system df

image-20221116101434644

3.登陆并演示介绍常用操作case

image-20221116101747358

image-20221116101722983

image-20221116101805949

7.Docker容器监控之CAdvisor+InfluxDB+Granfana

1.原生命令

1.操作

2.问题

通过docker stats命令可以很方便的看到当前宿主机上所有容器的CPU,内存以及网络流量等数据,一般小公司够用了。。。。

但是,

docker stats统计结果只能是当前宿主机的全部容器,数据资料是实时的,没有地方存储、没有健康指标过线预警等功能

2.是什么

1.容器监控3剑客

一句话:CAdvisor监控收集+InfluxDB存储数据+Granfana展示图表

CAdvisor

image-20221114195342515

InfluxDB

image-20221114195400384

Granfana

image-20221114195416313

总结

image-20221114195428549

3.compose容器编排,一套带走

1.新建目录

shell
mkdir cig
cd cig
mkdir cig
cd cig

2.新建3件套组合的

docker-compose.yml

shell
version: '3.1'
 
volumes:
  grafana_data: {}
 
services:
 influxdb:
  image: tutum/influxdb:0.9
  restart: always
  environment:
    - PRE_CREATE_DB=cadvisor
  ports:
    - "8083:8083"
    - "8086:8086"
  volumes:
    - ./data/influxdb:/data
 
 cadvisor:
  image: google/cadvisor
  links:
    - influxdb:influxsrv
  command: -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influxsrv:8086
  restart: always
  ports:
    - "8080:8080"
  volumes:
    - /:/rootfs:ro
    - /var/run:/var/run:rw
    - /sys:/sys:ro
    - /var/lib/docker/:/var/lib/docker:ro
 
 grafana:
  user: "104"
  image: grafana/grafana
  user: "104"
  restart: always
  links:
    - influxdb:influxsrv
  ports:
    - "3000:3000"
  volumes:
    - grafana_data:/var/lib/grafana
  environment:
    - HTTP_USER=admin
    - HTTP_PASS=admin
    - INFLUXDB_HOST=influxsrv
    - INFLUXDB_PORT=8086
    - INFLUXDB_NAME=cadvisor
    - INFLUXDB_USER=root
    - INFLUXDB_PASS=root
version: '3.1'
 
volumes:
  grafana_data: {}
 
services:
 influxdb:
  image: tutum/influxdb:0.9
  restart: always
  environment:
    - PRE_CREATE_DB=cadvisor
  ports:
    - "8083:8083"
    - "8086:8086"
  volumes:
    - ./data/influxdb:/data
 
 cadvisor:
  image: google/cadvisor
  links:
    - influxdb:influxsrv
  command: -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influxsrv:8086
  restart: always
  ports:
    - "8080:8080"
  volumes:
    - /:/rootfs:ro
    - /var/run:/var/run:rw
    - /sys:/sys:ro
    - /var/lib/docker/:/var/lib/docker:ro
 
 grafana:
  user: "104"
  image: grafana/grafana
  user: "104"
  restart: always
  links:
    - influxdb:influxsrv
  ports:
    - "3000:3000"
  volumes:
    - grafana_data:/var/lib/grafana
  environment:
    - HTTP_USER=admin
    - HTTP_PASS=admin
    - INFLUXDB_HOST=influxsrv
    - INFLUXDB_PORT=8086
    - INFLUXDB_NAME=cadvisor
    - INFLUXDB_USER=root
    - INFLUXDB_PASS=root

3.启动docker-compose文件

shell
docker-compose up
docker-compose up

查看三个服务容器是否启动

shell
docker ps
docker ps

image-20221116112344082

4.测试

1.浏览cAdvisor收集服务,http://ip:8080/

第一次访问慢,请稍等,cadvisor也有基础的图形展现功能,这里主要用它来作数据采集

image-20221116112500426

2.浏览influxdb存储服务,http://ip:8083/

3.浏览grafana展现服务,http://ip:3000

image-20221116112623899

ip+3000端口的方式访问,默认帐户密码(admin/admin)

配置步骤

配置数据源

image-20221114195825576

选择influxdb数据源

image-20221114195816518

配置细节

image-20221114195836383

image-20221114195859421

image-20221114195907325

配置面板panel

image-20221114195920521

image-20221114195929107

image-20221114195936960

image-20221114195945735

image-20221114200000482

image-20221114200010504

到这里cAdvisor+InfluxDB+Grafana容器监控系统就部署完成了

8.终章の总结

耐得住单调,耐得住寂寞,耐得住重复。