百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程字典 > 正文

MySQL8系列(2)之主从复制及caching_sha2_password问题解决

toyiye 2024-06-21 12:14 6 浏览 0 评论

前言

数据库做主从,主要目的有两点:①读写分离 ,②数据容灾备份。

在搭建MySql主从环境前,我们要了解CAP原则(一致性(Consistency)、可用性(Availability)、分区容错性(Partition tolerance))。这三者之间存在矛盾关系,因为为了实现高可用性,通常需要牺牲一致性;而要保证数据的强一致性,又可能导致系统不可用,尤其是在网络分区的情况下。这意味着在分布式系统中,最多只能同时实现这两点。

故我们搭建环境的配置是默认基于AP模式的异步复制。

主从复制原理

(1)master服务器将数据的改变记录二进制binlog日志,当master上的数据发生改变时,则将其改变写入二进制日志中;

(2)slave服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/OThread请求master二进制事件

(3)同时主节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至从节点本地的中继日志中,从节点将启动SQL线程从中继日志中读取二进制日志,在本地重放,使得其数据和主节点的保持一致,最后I/OThread和SQLThread将进入睡眠状态,等待下一次被唤醒。

配置Docker MySql环境

  1. 环境预设

软件环境

目标运行结果

一主二从,3个MySql服务均通过docker compose搭建在主机IP为192.168.8.33的树莓派系统上,同步的是主服务中创建test数据库。

  1. 目录结构


sudo mkdir -p /usr/local/docker/mysql8/{master,slave1,slave2}
sudo mkdir -p /usr/local/docker/mysql8/slave1/{data,config}
sudo mkdir -p /usr/local/docker/mysql8/slave2/{data,config}
sudo mkdir -p /usr/local/docker/mysql8/master/{data,config}
sudo vim /usr/local/docker/mysql8/docker-compose.yml
version: '3.8'
services:
  database-mysql8-master:
    image: 'mysql:8.3.0'
    container_name: mysql8-master
    restart: unless-stopped
    environment:
      MYSQL_ROOT_PASSWORD: root
      TZ: Asia/Shanghai
    ports:
      - 3306:3306
    volumes:
      - /usr/local/docker/mysql8/master/data/:/var/lib/mysql
      - /usr/local/docker/mysql8/master/config/my.cnf:/etc/mysql/my.cnf
  database-mysql8-slave-1:
    image: 'mysql:8.3.0'
    container_name: mysql8-slave-1
    restart: unless-stopped
    environment:
      MYSQL_ROOT_PASSWORD: root
      TZ: Asia/Shanghai
    ports:
      - 3307:3306
    volumes:
      - /usr/local/docker/mysql8/slave1/data:/var/lib/mysql
      - /usr/local/docker/mysql8/slave1/config/my.cnf:/etc/mysql/my.cnf
  database-mysql8-slave-2:
    image: 'mysql:8.3.0'
    container_name: mysql8-slave-2
    restart: unless-stopped
    environment:
      MYSQL_ROOT_PASSWORD: root
      TZ: Asia/Shanghai
    ports:
      - 3308:3306
    volumes:
      - /usr/local/docker/mysql8/slave2/data:/var/lib/mysql
      - /usr/local/docker/mysql8/slave2/config/my.cnf:/etc/mysql/my.cnf
      
 
  adminer:
    image: 'adminer:4.8.1'
    container_name: adminer8
    restart: unless-stopped
    ports:
      - 8080:8080
sudo vim /usr/local/docker/mysql8/master/config/my.cnf
[mysqld]
#Linux下默认是区分大小写:0为区分大小写;1为不区分大小写,会自动将查询表名转为小写。
#mysql8.0及以上版本必须首次启动容器时就设置好,后面都不能再进行修改,否则mysql将无法启动
lower_case_table_names=1
#设置服务器id,为1表示主服务器,实例唯一ID,不能和canal的slaveId重复
server-id=1
#注意log-bin配置的是日志文件名前缀路径,日志文件在datadir生成
log-bin=mysql-bin
#选择mixed模式,该值为允许数据库自动决定使用哪种日志格式来记录更改
binlog-format=mixed
#需要同步的数据库名,如果有多个数据库,可重复此参数,每个数据库一行
binlog-do-db=test
sudo vim /usr/local/docker/mysql8/slave1/config/my.cnf
[mysqld]
#Linux下默认是区分大小写:0为区分大小写;1为不区分大小写,会自动将查询表名转为小写。
#mysql8.0及以上版本必须首次启动容器时就设置好,后面都不能再进行修改,否则mysql将无法启动
lower_case_table_names=1
server-id=2
#与主服务器相同
log-bin=master-1-mysql-bin
#与主服务器相同
binlog-format=mixed
#与主服务器相同
replicate-do-db=test
sudo vim /usr/local/docker/mysql8/slave2/config/my.cnf
[mysqld]
#Linux下默认是区分大小写:0为区分大小写;1为不区分大小写,会自动将查询表名转为小写。
#mysql8.0及以上版本必须首次启动容器时就设置好,后面都不能再进行修改,否则mysql将无法启动
lower_case_table_names=1
server-id=3
#与主服务器相同
log-bin=mysql-bin
#与主服务器相同
binlog-format=mixed
#与主服务器相同
replicate-do-db=test

启动容器

sudo docker compose up

通过navicat客户端连接测试三个mysql服务

配置主从配置

  1. 在主数据库创建一个专用于数据同步的用户
create user 'syncroot'@'%' identified  by 'syncrootpw';
GRANT REPLICATION SLAVE ON *.* TO 'syncroot'@'%';
flush privileges;
show master status;

记录下其中的fileposition的值,这个需要用于从数据库的配置。

  1. 从1、从2数据库
stop slave;
change master to master_host='192.168.8.33', master_port=3306,master_user='syncroot',master_password='syncrootpw',master_log_file='mysql-bin.000003',master_log_pos=158,get_master_public_key=1;
start slave;
show slave status;

执行show slave status;后查询的结果,对于通过navicat以行展现的形式不好查看,可以行转列。还觉得不好看,可以通过命令行的形式查看。

  1. 在主数据库创建数据库
CREATE DATABASE `test` CHARACTER SET 'utf8mb4' COLLATE 'utf8mb4_0900_ai_ci';

问答

  1. 在cmd命令行窗口下mysql命令无法执行而报错

答:该问题是cmd没用系统管理员权限启动

  1. 从库配置同步用户,出现caching_sha2_password错误问题

答:因为mysql8.0默认采用的是caching_sha2_password加密方式,故我们在配置从数据库时需要加上get_master_public_key=1,这个参数的作用是在主从复制设置中,当从服务器尝试连接到主服务器时,它告诉从服务器获取主服务器的公钥,并使用这个公钥来加密密码。这有助于确保连接的安全性。

也可以在主数据库创建同步用时,加上mysql_native_password进行兼容。

create user 'master'@'%' identified with mysql_native_password by 'pass';
GRANT REPLICATION SLAVE ON *.* TO 'master'@'%';
flush privileges;
show master status;

若非必要进行兼容,不建议采用mysql_native_password方式。

总结

数据库主从方式主要有:①一主一从②主主复制③一主多从④多主一从⑤联级复制,但都是基于上面配置,再稍有一点区别而已。 其中①③其实配置一模一样。大多数情况下都是一主多从架构。

根据阿里巴巴《Java 开发手册》提出单表行数超过 500 万行或者单表容量超过 2GB,才推荐进行分库分表。如果预计三年后的数据量根本达不到这个级别,请不要在创建表时就分库分表。

数据库主从复制架构,基本能够应付大多数情况下系统设计。

相关推荐

为何越来越多的编程语言使用JSON(为什么编程)

JSON是JavascriptObjectNotation的缩写,意思是Javascript对象表示法,是一种易于人类阅读和对编程友好的文本数据传递方法,是JavaScript语言规范定义的一个子...

何时在数据库中使用 JSON(数据库用json格式存储)

在本文中,您将了解何时应考虑将JSON数据类型添加到表中以及何时应避免使用它们。每天?分享?最新?软件?开发?,Devops,敏捷?,测试?以及?项目?管理?最新?,最热门?的?文章?,每天?花?...

MySQL 从零开始:05 数据类型(mysql数据类型有哪些,并举例)

前面的讲解中已经接触到了表的创建,表的创建是对字段的声明,比如:上述语句声明了字段的名称、类型、所占空间、默认值和是否可以为空等信息。其中的int、varchar、char和decimal都...

JSON对象花样进阶(json格式对象)

一、引言在现代Web开发中,JSON(JavaScriptObjectNotation)已经成为数据交换的标准格式。无论是从前端向后端发送数据,还是从后端接收数据,JSON都是不可或缺的一部分。...

深入理解 JSON 和 Form-data(json和formdata提交区别)

在讨论现代网络开发与API设计的语境下,理解客户端和服务器间如何有效且可靠地交换数据变得尤为关键。这里,特别值得关注的是两种主流数据格式:...

JSON 语法(json 语法 priority)

JSON语法是JavaScript语法的子集。JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JS...

JSON语法详解(json的语法规则)

JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组注意:json的key是字符串,且必须是双引号,不能是单引号...

MySQL JSON数据类型操作(mysql的json)

概述mysql自5.7.8版本开始,就支持了json结构的数据存储和查询,这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库,在处理json这种非结构化的数据...

JSON的数据模式(json数据格式示例)

像XML模式一样,JSON数据格式也有Schema,这是一个基于JSON格式的规范。JSON模式也以JSON格式编写。它用于验证JSON数据。JSON模式示例以下代码显示了基本的JSON模式。{"...

前端学习——JSON格式详解(后端json格式)

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLa...

什么是 JSON:详解 JSON 及其优势(什么叫json)

现在程序员还有谁不知道JSON吗?无论对于前端还是后端,JSON都是一种常见的数据格式。那么JSON到底是什么呢?JSON的定义...

PostgreSQL JSON 类型:处理结构化数据

PostgreSQL提供JSON类型,以存储结构化数据。JSON是一种开放的数据格式,可用于存储各种类型的值。什么是JSON类型?JSON类型表示JSON(JavaScriptO...

JavaScript:JSON、三种包装类(javascript 包)

JOSN:我们希望可以将一个对象在不同的语言中进行传递,以达到通信的目的,最佳方式就是将一个对象转换为字符串的形式JSON(JavaScriptObjectNotation)-JS的对象表示法...

Python数据分析 只要1分钟 教你玩转JSON 全程干货

Json简介:Json,全名JavaScriptObjectNotation,JSON(JavaScriptObjectNotation(记号、标记))是一种轻量级的数据交换格式。它基于J...

比较一下JSON与XML两种数据格式?(json和xml哪个好)

JSON(JavaScriptObjectNotation)和XML(eXtensibleMarkupLanguage)是在日常开发中比较常用的两种数据格式,它们主要的作用就是用来进行数据的传...

取消回复欢迎 发表评论:

请填写验证码