百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程字典 > 正文

第35期MySQL 数据垂直拆分

toyiye 2024-06-21 12:12 10 浏览 0 评论

引言

一般来说讲,提到数据拆分,可以归结为两个层面:一是垂直拆分,二是水平拆分。这里我们来讨论下垂直拆分。

垂直拆分是以数据库、表、列等为单位进行拆分的方法。

正文

MySQL里垂直拆分可以细分为:垂直拆库(实例级别)、垂直拆模(表级别)、垂直拆表(列级别)。

1、垂直拆库:

也即在业务层按照业务逻辑由大拆小,各个子业务之间无关联查询,仅查询单个子业务即可,类似微服务治理的思想。在 MySQL 里表现为将全部表按照业务关联紧密程度拆分后存储在不同的数据库,每个数据库为一台 MySQL 实例,查询仅查对应的数据库实例即可。

如图1所示:

上图展示出原始业务数据的拆分示例,按照不同的业务逻辑分类划分为多个子业务,每个子业务对应一套 MySQL 实例组,每个 MySQL 实例组按照 MySQL 的 HA 架构部署(主从同步、组复制、MySQL CLUSTER等)

图1的优点很明显,原始业务的压力分散到各个小业务上,提升了整体的性能。但也不能忽略缺点:数据库对应用端不透明,应用端必须自己维护路由数据;当单个实例数据量以及请求再次到达上限时,后续拆分非常困难。

2、垂直拆模:

垂直拆模和垂直拆库大体类似,不过垂直拆模的最小单元是 schema ,而不是实例。大家知道,MySQL 的数据库等同于 schema , 一个数据库对应磁盘上的一个文件目录。这种拆分一般是为了解决文件系统中单个目录里文件个数过多导致的性能降低。

如图2所示:

图2显式了比如一个数据库 dbA , 里面含有10000张表,每1000张表单独划分为一个数据库,比如dbA1,dbA2,...,db10;每个数据库的数据无论从物理还是逻辑上都独立的。

举个例子说明下在数据库端垂直拆模的步骤以及对写入和查询请求的影响:

数据库 ytta 下有10000张表,表名分别为t1到t10000.

(debian-ytt1:3500)|(ytta)>select count(*) from information_schema.tables where table_schema='ytta';
+----------+
| count(*) |
+----------+
|    10000 |
+----------+
1 row in set (0.04 sec)

此处把这10000张表平均垂直拆分到数据库 ytt1 到 ytt10 里。

先创建10个数据库 ytt1-ytt10 。

ytt@debian-ytt1:~/mysql-sandboxes/3500/sandboxdata$ for i in `seq 1 10`; \
> do mysql -S mysqld.sock -uroot -proot -e "create database ytt$i";done;

分别往这10个数据库中 COPY 原始数据库的表结构以及数据:

这里采用拷贝表空间的做法(前提是数据库 ytta 下的表都是单表空间,如果非单表空间建议提前转换为单表空间)

对这个10个数据库分别创建对应的表结构;完了删掉初始表空间文件。

root@debian-ytt1:/home/ytt# for i in `seq 0 9`; \
> do for j in `seq 1 1000`; \
> do x=$((j + i * 1000)); \
> mysql -uroot -proot -hdebian-ytt1 -P3500 \
>  -e "use ytta;create table ytt$((i+1)).t$x like ytta.t$x;alter table ytt$((i+1)).t$x discard tablespace;"; \
> done; \
> done;

拷贝表空间需要原始表的表空间文件以及.cfg 配置文件。批量 flush 10000张表,导出对应的 .cfg 文件。

SESSION 1:

 MySQL  Py > conn1 = 'mysql://root:root@debian-ytt1:3500/ytta'
 MySQL  Py > rs = mysql.get_classic_session(conn1);
 MySQL  Py > tb_list = []
 MySQL  Py > for i in range(1,10001):tb_list.append('t' + str(i))
 MySQL  Py > tb_lists = ','.join(tb_list);
 MySQL  Py > rs.run_sql('flush tables ' + tb_lists + ' for export');
 Query OK, 0 rows affected (46.0182 sec)

检验数据库 ytta 下所有表是否已经生成.cfg文件

root@debian-ytt1:/home/ytt/mysql-sandboxes/3500/sandboxdata/ytta# ls -l t* | wc -l
20000

开始拷贝表空间文件

root@debian-ytt1:/home/ytt/mysql-sandboxes/3500/sandboxdata/ytta# for i in `seq 0 9`; \
> do for j in `seq 1 1000`; \
> do x=$((j + i * 1000)); \
> cp -rfp t$x.cfg t$x.ibd ../ytt$((i + 1))/; \
> done; \
> done;

回到 SESSION 1 来解锁数据库 ytta 下的所有表

 MySQL  Py > rs.run_sql('unlock tables')
Query OK, 0 rows affected (4.5235 sec)

分别在各个数据库下导入表空间

 MySQL  Py > for i in range(1,11):
          ->      for j in range(1,1001):
          ->          x = j + (i - 1) * 1000
          ->          rs.run_sql('alter table ytt'+ str(i) +'.t' + str(x)  + ' import tablespace')
          ->
Query OK, 0 rows affected, 0 warning (0.0973 sec)

以上即为在 MySQL 里垂直拆模的大致步骤。

垂直拆模的优点是没有动表结构和数据,只是把表结构和数据隔离到不同的数据库,在逻辑层面上可读性更强,代码改写量非常小。比如原来在数据库 ytta 的 SQL 如下:

select * from t1 join t1001 using(id) join t2001 using(id);

可以更改为:

select * from ytt1.t1 join ytt2.t1001 using(id) join ytt3.t2001 using(id);

跨库写入也一样,直接带入数据库名即可。

3、垂直拆表:

拆分的基本单元是表,而非实例或者数据库模式,将一张表按照字段的被访问频次拆分为不同的表。比如一张表有1000个字段, 按照字段被访问的频次来讲,前100个字段经常被访问,单独划分为一个分表;后面900 个字段不经常访问,划分为另外一个分表。

如图3所示:

上图表A含有5个字段,其中1个主键字段,另外4个非主键字段;按照字段被访问频次不同拆分为两张表A11,A12,两张表拥有同样的主键字段,有点类似我们常说的热表与冷表。

来看看在 MySQL 里实现垂直拆表的简单示例:

建立一张1000个字段的表 t_large(包含主键ID,字段为1001个),并插入1W行记录:

 MySQL  Py > field_list=[]
 MySQL  Py > for i in range(1,1001):field_list.append('r' + str(i) + ' int');
 MySQL  Py > field_lists=','.join(field_list);
 MySQL  Py > rs.run_sql('create table t_large(id serial primary key,' + field_lists + ')');
Query OK, 0 rows affected (0.6012 sec)
 MySQL  Py > v_list=[]
 MySQL  Py > for i in range(1000,2000):v_list.append(str(i));
 MySQL  Py > v_lists=','.join(v_list)

 MySQL  Py > for i in range(1,10001):rs.run_sql('insert into t_large select null,'+ v_lists);
Query OK, 1 row affected (0.0109 sec)

Records: 1  Duplicates: 0  Warnings: 0
 MySQL  Py > rs.run_sql('select count(*) from t_large');
+----------+
| count(*) |
+----------+
|    10000 |
+----------+
1 row in set (0.0671 sec)

按照字段个数,把这表拆成100张小表,每张表字段数为11个(包含主键字段),并且从原表 t_large 里抽取相应的记录。

 MySQL  Py > for i in range(1,101):
          ->     f_list1 = []
          ->     f_list2 = []
          ->     for j in range(1,11):
          ->         f_list1.append('r' + str(j + (i-1)*10) + ' int')
          ->         f_list2.append('r' + str(j + (i-1)*10))
          ->     rs.run_sql('create table t_large' + str(i) +'( id serial primary key,'+ ','.join(f_list1) + ')')
          ->     rs.run_sql('insert into t_large' + str(i) +' select id,' + ','.join(f_list2) + ' from t_large')
          ->
Query OK, 10000 rows affected (1.0415 sec)

Records: 10000  Duplicates: 0  Warnings: 0

假设表 t_large 原先10个字段频繁的被读取,那之后值需要读取表 t_large1 即可,写法上也简洁许多。

原 SQL :

select id,r1,r2,r3,r4,r5,r6,r7,r8,r9,r10 from t_large;

可以替换为:

select * from t_large1;

表更新的性能也有一定提升。原表更新:

 MySQL  Py > rs.run_sql('update t_large set r1 = ceil(rand()*10000)');
Query OK, 10000 rows affected (8.4471 sec)

Rows matched: 10000  Changed: 10000  Warnings: 0

仅更新字段r1,只需更新对应的拆分表即可。时间上比更新原表要快几十倍。

 MySQL  Py > rs.run_sql('update t_large1 set r1 = ceil(rand()*10000)');
Query OK, 10000 rows affected (0.5160 sec)

Rows matched: 10000  Changed: 10000  Warnings: 0

总结:

垂直拆分方法基本上分为三类: 垂直拆库(MySQL 里可以叫垂直拆实例)、垂直拆模(MySQL 里的垂直拆库)、垂直拆表。总体来说,垂直拆分的优缺点大致如下:

优点:

  1. 逻辑上业务更清晰,更容易梳理。
  2. 对 IO 以及连接数在一定程度上能够得到改善。

缺点:

  1. 单个分片性能如果到达瓶颈,很难进行更细粒度的切分。
  2. 拆分很难做到足够彻底,各个分片避免不了低频次的表关联。

关于 MySQL 的技术内容,你们还有什么想知道的吗?赶紧留言告诉小编吧!

相关推荐

为何越来越多的编程语言使用JSON(为什么编程)

JSON是JavascriptObjectNotation的缩写,意思是Javascript对象表示法,是一种易于人类阅读和对编程友好的文本数据传递方法,是JavaScript语言规范定义的一个子...

何时在数据库中使用 JSON(数据库用json格式存储)

在本文中,您将了解何时应考虑将JSON数据类型添加到表中以及何时应避免使用它们。每天?分享?最新?软件?开发?,Devops,敏捷?,测试?以及?项目?管理?最新?,最热门?的?文章?,每天?花?...

MySQL 从零开始:05 数据类型(mysql数据类型有哪些,并举例)

前面的讲解中已经接触到了表的创建,表的创建是对字段的声明,比如:上述语句声明了字段的名称、类型、所占空间、默认值和是否可以为空等信息。其中的int、varchar、char和decimal都...

JSON对象花样进阶(json格式对象)

一、引言在现代Web开发中,JSON(JavaScriptObjectNotation)已经成为数据交换的标准格式。无论是从前端向后端发送数据,还是从后端接收数据,JSON都是不可或缺的一部分。...

深入理解 JSON 和 Form-data(json和formdata提交区别)

在讨论现代网络开发与API设计的语境下,理解客户端和服务器间如何有效且可靠地交换数据变得尤为关键。这里,特别值得关注的是两种主流数据格式:...

JSON 语法(json 语法 priority)

JSON语法是JavaScript语法的子集。JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JS...

JSON语法详解(json的语法规则)

JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组注意:json的key是字符串,且必须是双引号,不能是单引号...

MySQL JSON数据类型操作(mysql的json)

概述mysql自5.7.8版本开始,就支持了json结构的数据存储和查询,这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库,在处理json这种非结构化的数据...

JSON的数据模式(json数据格式示例)

像XML模式一样,JSON数据格式也有Schema,这是一个基于JSON格式的规范。JSON模式也以JSON格式编写。它用于验证JSON数据。JSON模式示例以下代码显示了基本的JSON模式。{"...

前端学习——JSON格式详解(后端json格式)

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLa...

什么是 JSON:详解 JSON 及其优势(什么叫json)

现在程序员还有谁不知道JSON吗?无论对于前端还是后端,JSON都是一种常见的数据格式。那么JSON到底是什么呢?JSON的定义...

PostgreSQL JSON 类型:处理结构化数据

PostgreSQL提供JSON类型,以存储结构化数据。JSON是一种开放的数据格式,可用于存储各种类型的值。什么是JSON类型?JSON类型表示JSON(JavaScriptO...

JavaScript:JSON、三种包装类(javascript 包)

JOSN:我们希望可以将一个对象在不同的语言中进行传递,以达到通信的目的,最佳方式就是将一个对象转换为字符串的形式JSON(JavaScriptObjectNotation)-JS的对象表示法...

Python数据分析 只要1分钟 教你玩转JSON 全程干货

Json简介:Json,全名JavaScriptObjectNotation,JSON(JavaScriptObjectNotation(记号、标记))是一种轻量级的数据交换格式。它基于J...

比较一下JSON与XML两种数据格式?(json和xml哪个好)

JSON(JavaScriptObjectNotation)和XML(eXtensibleMarkupLanguage)是在日常开发中比较常用的两种数据格式,它们主要的作用就是用来进行数据的传...

取消回复欢迎 发表评论:

请填写验证码