MySQL explain 和 profiling 详解

mysql explain

MySQL 的 EXPLAIN 是一个用于查询优化的工具，它可以显示 MySQL 数据库如何执行查询。它返回一组关于查询执行计划的信息，包括用到的索引，表的连接顺序以及 MySQL 使用的查询类型。下面是 EXPLAIN 返回的列及其含义：

id：查询中每个 SELECT 子句或者操作的唯一标识符。如果 id 相同，那么这些操作在同一个查询中。

select_type

• select_type：查询的类型，有以下几种类型：
  • SIMPLE：简单 SELECT 查询，不使用 UNION 或子查询等。
  • PRIMARY：最外层的查询，即包含了子查询的查询。
  • UNION：UNION 查询的第二个或后续查询语句，不包括第一个查询语句。
  • DEPENDENT UNION：UNION 查询中的第二个或后续查询语句，依赖于外部查询的结果。
  • UNION RESULT：UNION 的结果集。
  • SUBQUERY：子查询中的第一个 SELECT 语句，结果用于外部查询。
  • DEPENDENT SUBQUERY：子查询中的第一个 SELECT 语句，依赖于外部查询的结果。
  • DERIVED：派生表的 SELECT，MySQL 会将其存储在临时表中。
  • MATERIALIZED：派生表的 SELECT，MySQL 会将其存储在临时表中。
  • UNCACHEABLE SUBQUERY：子查询不可缓存。
• table：显示查询的表名。
• partitions：匹配到查询的分区列表。
• type：表访问的类型，性能从好到坏依次是：
  • system：仅有一行记录的表。
  • const：基于索引进行的等值查询。
  • eq_ref：对于每个查询，使用了索引查找符合条件的一行。
  • ref：非唯一性索引查找，返回匹配某个单独值的所有行。
  • range：使用索引查找一定范围内的行。
  • index：使用索引扫描全表，一般用于ORDER BY和GROUP BY操作。
  • all：全表扫描。
• possible_keys：可能使用的索引列表。
• key：实际使用的索引名称。
• key_len：使用索引的长度。
• ref：显示索引的哪一列或常量与表列进行比较。
• rows：估算的行数。
• filtered：过滤器过滤的行数百分比。
• Extra：关于 MySQL 如何解析查询的额外信息，包括以下信息：
  • Using index：表示查询中使用了覆盖索引。
  • Using where：表示 MySQL 使用了 WHERE 子句来过滤数据。
  • Using temporary：表示 MySQL 使用了临时表来存储结果集，通常是 GROUP BY 和 ORDER BY 操作的结果。
  • Using filesort：表示 MySQL 使用了文件排序来排序结果集。
  • Using join buffer：表示
  • Using join buffer：表示 MySQL 使用了 join buffer 来处理连接操作。
  • Using sort_union：表示 MySQL 使用了 UNION 查询中的排序优化。
  • Using intersect：表示 MySQL 使用了 UNION 查询中的交集优化。
  • Using index condition：表示 MySQL 使用了索引中的条件进行过滤，这意味着 MySQL 能够在索引中解决查询条件，而无需查找表中的行。
  • Using where with pushed condition：表示 MySQL 将过滤条件下推到了联接前的表中，这可能会更有效地利用索引。
  • Using index for group-by：表示 MySQL 使用了索引来处理 GROUP BY 操作，这通常是一种优化。
  • Using filesort for group-by：表示 MySQL 使用了文件排序来处理 GROUP BY 操作，这通常是不太理想的。
  • Using temporary for filesort：表示 MySQL 使用了临时表来处理 ORDER BY 或 GROUP BY 操作的结果。
  • Using filesort for order by：表示 MySQL 使用了文件排序来处理 ORDER BY 操作，这通常是不太理想的。

下面是一个使用 EXPLAIN 进行查询优化的例子：

EXPLAIN SELECT *
FROM users
JOIN orders ON users.id = orders.user_id
WHERE users.age > 18
ORDER BY orders.created_at DESC
LIMIT 10;

执行上面的语句后，会返回类似如下的输出：

sql
Copy code
+----+-------------+--------+------------+--------+---------------------+---------+---------+------------------------+------+----------+--------------------------+
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
+----+-------------+--------+------------+--------+---------------------+---------+---------+------------------------+------+----------+--------------------------+
| 1 | SIMPLE | users | NULL | range | PRIMARY,age | age | 4 | NULL | 4 | 100.00 | Using where; Using index |
| 1 | SIMPLE | orders | NULL | ref | user_id,created_at | user_id | 4 | test_db.users.id | 199 | 100.00 | Using index |
+----+-------------+--------+------------+--------+---------------------+---------+---------+------------------------+------+----------+--------------------------+

这个查询通过 JOIN 将用户表和订单表连接起来，只返回年龄大于 18 岁的用户的前 10 个订单，按照订单创建时间倒序排序。通过分析输出结果，我们可以看到 MySQL 使用了用户表的 age 列上的索引来过滤数据，然后使用了订单表的 user_id 列上的索引来查找订单，这个查询使用了索引优化的方法，可以更高效地执行。

MySQL profiling

# 查看是否开启了 profiling
show variables like '%profiling%';
# 开启 profiling
set profiling = 1;
# 执行查询

select * from big_tables where id >= (
    select id from big_tables limit 10000000, 1
) limit 0, 1;

# 查看所有查询的性能数据
show profiles;
# 查看某条查询的详细性能数据
show profile for query 1;
# 查看 cpu, io, memory, block io 等性能数据
show profile cpu, io, memory, block io for query 1;

# 关闭 profiling
set profiling = 0;

使用示例:

mysql> # 查看所有查询的性能数据
show profiles;
+----------+------------+---------------------------------------------------------------------------------------------------+
| Query_ID | Duration   | Query                                                                                             |
+----------+------------+---------------------------------------------------------------------------------------------------+
|        1 | 0.00568250 | show variables like '%profiling%'                                                                 |
|        2 | 1.41488150 | select * from big_tables where id >= (
    select id from big_tables limit 10000000, 1
) limit 0, 1 |
|        3 | 0.00040300 | purge profiles                                                                                    |
|        4 | 0.00016575 | # 清理所有profiling 数据
FLUSH STATEMENT ANALYSIS                                                  |
|        5 | 0.00014875 | FLUSH STATEMENT ANALYSIS                                                                          |
|        6 | 1.41070725 | select * from big_tables where id >= (
    select id from big_tables limit 10000000, 1
) limit 0, 1 |
+----------+------------+---------------------------------------------------------------------------------------------------+
6 rows in set (0.10 sec)
mysql> # 查看某条查询的详细性能数据
show profile for query 6;
+--------------------------------+----------+
| Status                         | Duration |
+--------------------------------+----------+
| starting                       | 0.000098 |
| Executing hook on transaction  | 0.000034 |
| starting                       | 0.000030 |
| checking permissions           | 0.000009 |
| checking permissions           | 0.000005 |
| Opening tables                 | 0.000059 |
| init                           | 0.000027 |
| System lock                    | 0.000015 |
| optimizing                     | 0.000010 |
| statistics                     | 0.000024 |
| optimizing                     | 0.000004 |
| statistics                     | 0.000008 |
| preparing                      | 0.000016 |
| executing                      | 1.410089 |
| preparing                      | 0.000041 |
| executing                      | 0.000037 |
| end                            | 0.000006 |
| query end                      | 0.000042 |
| waiting for handler commit     | 0.000016 |
| closing tables                 | 0.000014 |
| freeing items                  | 0.000110 |
| cleaning up                    | 0.000019 |
+--------------------------------+----------+
mysql> # 查看 cpu, io, memory, block io 等性能数据
show profile cpu, block io for query 6;
+--------------------------------+----------+----------+------------+--------------+---------------+
| Status                         | Duration | CPU_user | CPU_system | Block_ops_in | Block_ops_out |
+--------------------------------+----------+----------+------------+--------------+---------------+
| starting                       | 0.000098 | 0.000072 | 0.000025   |            0 |             0 |
| Executing hook on transaction  | 0.000034 | 0.000026 | 0.000009   |            0 |             0 |
| starting                       | 0.000030 | 0.000022 | 0.000007   |            0 |             0 |
| checking permissions           | 0.000009 | 0.000006 | 0.000002   |            0 |             0 |
| checking permissions           | 0.000005 | 0.000004 | 0.000002   |            0 |             0 |
| Opening tables                 | 0.000059 | 0.000044 | 0.000015   |            0 |             0 |
| init                           | 0.000027 | 0.000020 | 0.000007   |            0 |             0 |
| System lock                    | 0.000015 | 0.000010 | 0.000003   |            0 |             0 |
| optimizing                     | 0.000010 | 0.000008 | 0.000003   |            0 |             0 |
| statistics                     | 0.000024 | 0.000018 | 0.000006   |            0 |             0 |
| optimizing                     | 0.000004 | 0.000002 | 0.000001   |            0 |             0 |
| statistics                     | 0.000008 | 0.000006 | 0.000002   |            0 |             0 |
| preparing                      | 0.000016 | 0.000012 | 0.000004   |            0 |             0 |
| executing                      | 1.410089 | 1.412984 | 0.000000   |            0 |             0 |
| preparing                      | 0.000041 | 0.000038 | 0.000000   |            0 |             0 |
| executing                      | 0.000037 | 0.000037 | 0.000000   |            0 |             0 |
| end                            | 0.000006 | 0.000005 | 0.000000   |            0 |             0 |
| query end                      | 0.000042 | 0.000042 | 0.000000   |            0 |             0 |
| waiting for handler commit     | 0.000016 | 0.000016 | 0.000000   |            0 |             0 |
| closing tables                 | 0.000014 | 0.000014 | 0.000000   |            0 |             0 |
| freeing items                  | 0.000110 | 0.000109 | 0.000000   |            0 |             0 |
| cleaning up                    | 0.000019 | 0.000019 | 0.000000   |            0 |             0 |
+--------------------------------+----------+----------+------------+--------------+---------------+
22 rows in set (0.17 sec)

拓展: profiling 数据的条数

一般 profiling 只保留最近 15 条查询的性能数据, 如果需要保留更多的数据, 可以修改 profiling_history_size 变量:

mysql> show variables like '%profiling%';
+------------------------+-------+
| Variable_name          | Value |
+------------------------+-------+
| have_profiling         | YES   |
| profiling              | ON    |
| profiling_history_size | 15    |
+------------------------+-------+
3 rows in set (0.10 sec)
mysql> set global profiling_history_size=20;