1. 项目概述MySQL主从复制是数据库高可用架构中最基础也最经典的解决方案。我在过去五年里为十几家企业部署过不同规模的MySQL主从集群从单机测试环境到跨机房生产系统都有涉及。今天要分享的是基于Docker环境快速搭建MySQL主从集群的完整方案这个方案特别适合开发者在本地测试主从同步机制或者中小团队快速搭建准生产环境。传统的主从部署需要准备多台物理服务器配置过程繁琐且容易出错。而使用Docker容器技术我们可以在单台开发机上模拟出完整的主从架构整个过程只需要15分钟。更重要的是这种部署方式完美保留了MySQL主从复制的所有核心机制包括二进制日志传输、数据一致性校验等关键特性是学习数据库高可用技术的绝佳实验环境。2. 核心原理拆解2.1 主从复制的工作机制MySQL主从复制的核心是二进制日志binlog的传输和重放。当主库执行写操作时所有数据变更会以事件形式记录在binlog中。从库的IO线程会实时拉取这些日志然后由SQL线程在从库上按顺序重放这些事件从而实现数据同步。这个过程中有几个关键参数需要注意server_id每个MySQL实例必须具有唯一标识log_bin主库必须开启二进制日志binlog_format建议使用ROW模式可以避免很多主从不一致问题2.2 复制拓扑的演进在实际生产环境中主从架构可以演进出多种拓扑结构一主一从最基本的灾备方案一主多从读写分离的典型架构级联复制减轻主库的复制压力双主复制需要特别注意循环复制问题我们今天要部署的是最基础的一主一从架构但掌握了这个基础后扩展到其他拓扑结构会非常容易。3. Docker环境准备3.1 容器网络规划为了让主从容器能够互相通信我们需要先创建一个专用网络docker network create mysql-replication这个网络将提供容器间通过服务名直接通信独立的IP地址空间自动DNS解析3.2 数据持久化配置为了避免容器重启导致数据丢失我们需要为每个MySQL实例创建数据卷docker volume create mysql-master-data docker volume create mysql-slave-data在生产环境中这些卷应该挂载到宿主机的特定目录方便备份和维护。4. 主库配置与启动4.1 主库配置文件创建master.cnf配置文件[mysqld] server_id 1 log_bin mysql-bin binlog_format ROW expire_logs_days 7 max_binlog_size 100M binlog_cache_size 1M sync_binlog 1 # 复制账号权限配置 binlog_do_db example_db关键参数说明server_id1主库的唯一标识binlog_formatROW最安全的复制模式sync_binlog1每次事务提交都刷盘保证数据安全4.2 启动主库容器docker run -d --name mysql-master \ --network mysql-replication \ -v mysql-master-data:/var/lib/mysql \ -v $(pwd)/master.cnf:/etc/mysql/conf.d/master.cnf \ -e MYSQL_ROOT_PASSWORDmasterpass \ -p 3306:3306 \ mysql:8.0 \ --server-id1 \ --log-binmysql-bin \ --binlog-formatROW启动后需要进入容器创建复制账号docker exec -it mysql-master mysql -uroot -pmasterpass执行SQLCREATE USER repl% IDENTIFIED BY slavepass; GRANT REPLICATION SLAVE ON *.* TO repl%; FLUSH PRIVILEGES;5. 从库配置与启动5.1 从库配置文件创建slave.cnf配置文件[mysqld] server_id 2 log_bin mysql-bin binlog_format ROW relay_log mysql-relay-bin log_slave_updates 1 read_only 1关键参数说明server_id2必须与主库不同read_only1从库设置为只读模式log_slave_updates1允许从库记录binlog为级联复制做准备5.2 启动从库容器docker run -d --name mysql-slave \ --network mysql-replication \ -v mysql-slave-data:/var/lib/mysql \ -v $(pwd)/slave.cnf:/etc/mysql/conf.d/slave.cnf \ -e MYSQL_ROOT_PASSWORDslavepass \ -p 3307:3306 \ mysql:8.06. 配置主从复制6.1 获取主库状态在主库执行SHOW MASTER STATUS;记录输出中的File和Position值例如------------------------------------------------------------ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | ------------------------------------------------------------ | mysql-bin.000003 | 785 | example_db | | ------------------------------------------------------------6.2 配置从库连接在从库执行CHANGE MASTER TO MASTER_HOSTmysql-master, MASTER_USERrepl, MASTER_PASSWORDslavepass, MASTER_LOG_FILEmysql-bin.000003, MASTER_LOG_POS785; START SLAVE;6.3 检查复制状态SHOW SLAVE STATUS\G重点关注以下字段Slave_IO_Running: YesSlave_SQL_Running: YesSeconds_Behind_Master: 07. 测试主从同步7.1 创建测试数据库在主库执行CREATE DATABASE example_db; USE example_db; CREATE TABLE users ( id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(50) NOT NULL, email VARCHAR(100) UNIQUE NOT NULL ); INSERT INTO users (name, email) VALUES (Alice, aliceexample.com);7.2 验证从库数据在从库执行USE example_db; SELECT * FROM users;应该能看到与主库相同的数据。8. 高级配置与优化8.1 半同步复制配置为了增强数据安全性可以配置半同步复制在主库的master.cnf中添加plugin-load rpl_semi_sync_mastersemisync_master.so rpl_semi_sync_master_enabled 1 rpl_semi_sync_master_timeout 10000在从库的slave.cnf中添加plugin-load rpl_semi_sync_slavesemisync_slave.so rpl_semi_sync_slave_enabled 1重启容器后在主库执行INSTALL PLUGIN rpl_semi_sync_master SONAME semisync_master.so;8.2 复制过滤配置如果只需要同步特定数据库可以配置复制过滤在主库的master.cnf中binlog-do-db example_db在从库的slave.cnf中replicate-do-db example_db9. 常见问题排查9.1 复制中断处理当出现复制错误时首先查看从库状态SHOW SLAVE STATUS\G常见错误及解决方案主键冲突通常是由于在从库上直接写入了数据STOP SLAVE; SET GLOBAL sql_slave_skip_counter 1; START SLAVE;表不存在可能是主从库结构不一致STOP SLAVE; # 在从库上创建缺失的表 START SLAVE;9.2 延迟监控与优化监控复制延迟SHOW SLAVE STATUS\G优化建议增加从库的slave_parallel_workers参数确保主从服务器硬件配置相当避免从库执行大量查询10. 生产环境建议虽然Docker非常适合开发和测试环境但在生产环境部署时还需要考虑数据持久化使用宿主机的持久化存储而非Docker卷监控告警部署PrometheusGranfa监控复制状态备份策略定期备份二进制日志和数据库快照高可用考虑使用Orchestrator等工具管理故障转移这套Docker方案最大的价值在于它完整保留了MySQL主从复制的所有核心机制开发者可以在本地完全模拟生产环境的行为模式。我在实际使用中发现很多复制相关的问题都可以先在Docker环境中复现和解决这大大降低了在生产环境试错的风险。
1. 项目概述MySQL主从复制是数据库高可用架构中最基础也最经典的解决方案。我在过去五年里为十几家企业部署过不同规模的MySQL主从集群从单机测试环境到跨机房生产系统都有涉及。今天要分享的是基于Docker环境快速搭建MySQL主从集群的完整方案这个方案特别适合开发者在本地测试主从同步机制或者中小团队快速搭建准生产环境。传统的主从部署需要准备多台物理服务器配置过程繁琐且容易出错。而使用Docker容器技术我们可以在单台开发机上模拟出完整的主从架构整个过程只需要15分钟。更重要的是这种部署方式完美保留了MySQL主从复制的所有核心机制包括二进制日志传输、数据一致性校验等关键特性是学习数据库高可用技术的绝佳实验环境。2. 核心原理拆解2.1 主从复制的工作机制MySQL主从复制的核心是二进制日志binlog的传输和重放。当主库执行写操作时所有数据变更会以事件形式记录在binlog中。从库的IO线程会实时拉取这些日志然后由SQL线程在从库上按顺序重放这些事件从而实现数据同步。这个过程中有几个关键参数需要注意server_id每个MySQL实例必须具有唯一标识log_bin主库必须开启二进制日志binlog_format建议使用ROW模式可以避免很多主从不一致问题2.2 复制拓扑的演进在实际生产环境中主从架构可以演进出多种拓扑结构一主一从最基本的灾备方案一主多从读写分离的典型架构级联复制减轻主库的复制压力双主复制需要特别注意循环复制问题我们今天要部署的是最基础的一主一从架构但掌握了这个基础后扩展到其他拓扑结构会非常容易。3. Docker环境准备3.1 容器网络规划为了让主从容器能够互相通信我们需要先创建一个专用网络docker network create mysql-replication这个网络将提供容器间通过服务名直接通信独立的IP地址空间自动DNS解析3.2 数据持久化配置为了避免容器重启导致数据丢失我们需要为每个MySQL实例创建数据卷docker volume create mysql-master-data docker volume create mysql-slave-data在生产环境中这些卷应该挂载到宿主机的特定目录方便备份和维护。4. 主库配置与启动4.1 主库配置文件创建master.cnf配置文件[mysqld] server_id 1 log_bin mysql-bin binlog_format ROW expire_logs_days 7 max_binlog_size 100M binlog_cache_size 1M sync_binlog 1 # 复制账号权限配置 binlog_do_db example_db关键参数说明server_id1主库的唯一标识binlog_formatROW最安全的复制模式sync_binlog1每次事务提交都刷盘保证数据安全4.2 启动主库容器docker run -d --name mysql-master \ --network mysql-replication \ -v mysql-master-data:/var/lib/mysql \ -v $(pwd)/master.cnf:/etc/mysql/conf.d/master.cnf \ -e MYSQL_ROOT_PASSWORDmasterpass \ -p 3306:3306 \ mysql:8.0 \ --server-id1 \ --log-binmysql-bin \ --binlog-formatROW启动后需要进入容器创建复制账号docker exec -it mysql-master mysql -uroot -pmasterpass执行SQLCREATE USER repl% IDENTIFIED BY slavepass; GRANT REPLICATION SLAVE ON *.* TO repl%; FLUSH PRIVILEGES;5. 从库配置与启动5.1 从库配置文件创建slave.cnf配置文件[mysqld] server_id 2 log_bin mysql-bin binlog_format ROW relay_log mysql-relay-bin log_slave_updates 1 read_only 1关键参数说明server_id2必须与主库不同read_only1从库设置为只读模式log_slave_updates1允许从库记录binlog为级联复制做准备5.2 启动从库容器docker run -d --name mysql-slave \ --network mysql-replication \ -v mysql-slave-data:/var/lib/mysql \ -v $(pwd)/slave.cnf:/etc/mysql/conf.d/slave.cnf \ -e MYSQL_ROOT_PASSWORDslavepass \ -p 3307:3306 \ mysql:8.06. 配置主从复制6.1 获取主库状态在主库执行SHOW MASTER STATUS;记录输出中的File和Position值例如------------------------------------------------------------ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | ------------------------------------------------------------ | mysql-bin.000003 | 785 | example_db | | ------------------------------------------------------------6.2 配置从库连接在从库执行CHANGE MASTER TO MASTER_HOSTmysql-master, MASTER_USERrepl, MASTER_PASSWORDslavepass, MASTER_LOG_FILEmysql-bin.000003, MASTER_LOG_POS785; START SLAVE;6.3 检查复制状态SHOW SLAVE STATUS\G重点关注以下字段Slave_IO_Running: YesSlave_SQL_Running: YesSeconds_Behind_Master: 07. 测试主从同步7.1 创建测试数据库在主库执行CREATE DATABASE example_db; USE example_db; CREATE TABLE users ( id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(50) NOT NULL, email VARCHAR(100) UNIQUE NOT NULL ); INSERT INTO users (name, email) VALUES (Alice, aliceexample.com);7.2 验证从库数据在从库执行USE example_db; SELECT * FROM users;应该能看到与主库相同的数据。8. 高级配置与优化8.1 半同步复制配置为了增强数据安全性可以配置半同步复制在主库的master.cnf中添加plugin-load rpl_semi_sync_mastersemisync_master.so rpl_semi_sync_master_enabled 1 rpl_semi_sync_master_timeout 10000在从库的slave.cnf中添加plugin-load rpl_semi_sync_slavesemisync_slave.so rpl_semi_sync_slave_enabled 1重启容器后在主库执行INSTALL PLUGIN rpl_semi_sync_master SONAME semisync_master.so;8.2 复制过滤配置如果只需要同步特定数据库可以配置复制过滤在主库的master.cnf中binlog-do-db example_db在从库的slave.cnf中replicate-do-db example_db9. 常见问题排查9.1 复制中断处理当出现复制错误时首先查看从库状态SHOW SLAVE STATUS\G常见错误及解决方案主键冲突通常是由于在从库上直接写入了数据STOP SLAVE; SET GLOBAL sql_slave_skip_counter 1; START SLAVE;表不存在可能是主从库结构不一致STOP SLAVE; # 在从库上创建缺失的表 START SLAVE;9.2 延迟监控与优化监控复制延迟SHOW SLAVE STATUS\G优化建议增加从库的slave_parallel_workers参数确保主从服务器硬件配置相当避免从库执行大量查询10. 生产环境建议虽然Docker非常适合开发和测试环境但在生产环境部署时还需要考虑数据持久化使用宿主机的持久化存储而非Docker卷监控告警部署PrometheusGranfa监控复制状态备份策略定期备份二进制日志和数据库快照高可用考虑使用Orchestrator等工具管理故障转移这套Docker方案最大的价值在于它完整保留了MySQL主从复制的所有核心机制开发者可以在本地完全模拟生产环境的行为模式。我在实际使用中发现很多复制相关的问题都可以先在Docker环境中复现和解决这大大降低了在生产环境试错的风险。
