1
select * from T where ID=10

在MySQL中,上面这句话是最简单不过的查询语句。那么这条语句在MySQL内部是如何执行的?

这个问题,可以囊括MySQL的基础架构。

MySQL基础架构

MySQL 可以分为 Server 层和存储引擎层两部分。

Server 层包括连接器、查询缓存、分析器、优化器、执行器等,涵盖 MySQL 的大多数核心服务功能,以及所有的内置函数(如日期、时间、数学和加密函数等),所有跨存储引擎的功能都在这一层实现,比如存储过程、触发器、视图等。

存储引擎层负责数据的存储和提取。支持 InnoDB、MyISAM、Memory 等多个存储引擎。现在最常用的存储引擎是 InnoDB。不同的存储引擎共用一个 Server 层,也就是从连接器到执行器的部分。

下面通过查询语句的作用,依次谈谈架构中Server的各层的基本功能。

主要内容有 :

  • 连接器 :关于长连接问题
  • 查询缓存 : 利大于弊,MySQL8.0以后就被废弃了
  • 分析器 : 词法分析、语法分析
  • 优化器 : 尽可能扫描少的数据库行纪录
  • 执行器 :执行顺序举例

连接器

连接器负责跟客户端建立连接、获取权限、维持和管理连接。

这里能执行select都是连接好了,没啥可说的。

使用show processlist;命令可以显示用户正在运行的线程,需要注意的是,除了 root 用户能看到所有正在运行的线程外,其他用户都只能看到自己正在运行的线程,看不到其它用户正在运行的线程。除非单独个这个用户赋予了PROCESS 权限

image-20230418163817721

Command字段指此时刻线程正在执行的命令,太复杂还没看,官网 :https://dev.mysql.com/doc/refman/8.0/en/thread-commands.html

客户端如果太长时间没动静,连接器就会自动将它断开。这个时间是由参数 wait_timeout 控制的,默认值是 8 小时。

数据库里面,长连接是指连接成功后,如果客户端持续有请求,则一直使用同一个连接。短连接则是指每次执行完很少的几次查询就断开连接,下次查询再重新建立一个。(由于建立连接比较复杂,所以推荐是尽量长连接)

但是全部使用长连接后,你可能会发现,有些时候 MySQL 占用内存涨得特别快,这是因为 MySQL 在执行过程中临时使用的内存是管理在连接对象里面的。这些资源会在连接断开的时候才释放。所以如果长连接累积下来,可能导致内存占用太大,被系统强行杀掉(OOM),从现象看就是 MySQL 异常重启了。

怎么解决长连接内存问题?

  1. 定期断开长连接。使用一段时间,或者程序里面判断执行过一个占用内存的大查询后,断开连接,之后要查询再重连。
  2. MySQL 5.7 或更新版本,可以在每次执行一个比较大的操作后,通过执行 mysql_reset_connection 来重新初始化连接资源。这个过程不需要重连和重新做权限验证,但是会将连接恢复到刚刚创建完时的状态。

查询缓存

(MySQL8.0以后废弃)

连接建立完成后,你就可以执行 select 语句了。执行逻辑就会来到第二步:查询缓存。

查询缓存的意思就是MySQL 拿到一个查询请求后,会先到查询缓存看看,之前是不是执行过这条语句。

如果命令缓存就返回,否则继续去到分析器。

但出于有效性,只要有对一个表的更新,这个表上所有的查询缓存都会被清空,因此查询缓存的失效非常频繁。

所以除非是静态表(很长时间才会更新一次),不要轻易使用查询缓存,否则由于命中率太低,反而效率低下。

1
2
3
//将参数 query_cache_type 设置成 DEMAND,这样对于默认的 SQL 语句都不使用查询缓存
//使用查询缓存
select SQL_CACHE * from T where ID=10

分析器

跳过或经过查询缓存这步之后,就来到分析器。

分析器: 先做词法分析,再做语法分析。

1
select * from T where ID=10

词法分析 : 识别select关键字,识别T为表名,识别ID为列名

语法分析: 根据词法分析的结果,语法分析器会根据语法规则,判断你输入的这个 SQL 语句是否满足 MySQL 语法。

错误 You have an error in your SQL syntax就是这个环节分析出来的。

优化器

经过分析器之后,MySQL已经知道要做的事情,不过在执行前要先经过优化器的优化。

优化器是在表里面有多个索引的时候,决定使用哪个索引;或者在一个语句有多表关联(join)的时候,决定各个表的连接顺序(不同的连接顺序都可以完成,但效率会有区别,优化器原则是:尽可能扫描少的数据库行纪录)。

关于优化器如何选择最优方案,以后再来探索吧 !

优化器阶段完成后,这个语句的执行方案就确定下来了,然后进入执行器阶段。

执行器

MySQL 通过分析器知道了你要做什么,通过优化器知道了该怎么做,于是就进入了执行器阶段,开始执行语句。

开始执行的时候,要先判断一下你对这个表 T 有没有执行查询的权限

如果没有,就会返回没有权限的错误;

如果有权限,就打开表继续执行。

打开表的时候,执行器就会根据表的引擎定义,去使用这个引擎提供的接口。(执行 create table 建表的时候,如果不指定引擎类型,默认使用的就是 InnoDB引擎)

1
select * from T where ID=10

以上面这句话为例(因为没有索引),执行器的执行顺序为 :

  1. 调用 InnoDB 引擎接口取这个表的第一行,判断 ID 值是不是 10,如果不是则跳过,如果是则将这行存在结果集中;
  2. 调用引擎接口取“下一行”,重复相同的判断逻辑,直到取到这个表的最后一行。
  3. 执行器将上述遍历过程中所有满足条件的行组成的记录集作为结果集返回给客户端。