在日常查詢(xún)中，索引或其他數(shù)據(jù)查找的方法可能不是查詢(xún)執(zhí)行中最高昂的部分，例如：MySQL GROUP BY 可能負(fù)責(zé)查詢(xún)執(zhí)行時(shí)間 90% 還多。MySQL 執(zhí)行 GROUP BY 時(shí)的主要復(fù)雜性是計(jì)算 GROUP BY 語(yǔ)句中的聚合函數(shù)。UDF 聚合函數(shù)是一個(gè)接一個(gè)地獲得構(gòu)成單個(gè)組的所有值。這樣，它可以在移動(dòng)到另一個(gè)組之前計(jì)算單個(gè)組的聚合函數(shù)值。當(dāng)然，問(wèn)題在于，在大多數(shù)情況下，源數(shù)據(jù)值不會(huì)被分組。來(lái)自各種組的值在處理期間彼此跟隨。因此，我們需要一個(gè)特殊的步驟。
處理 MySQL GROUP BY讓我們看看之前看過(guò)的同一張table： mysql> show create table tbl G *************************** 1. row *************************** Table: tbl Create Table: CREATE TABLE `tbl` ( `id` int(11) NOT NULL AUTO_INCREMENT, `k` int(11) NOT NULL DEFAULT '0', `g` int(10) unsigned NOT NULL, PRIMARY KEY (`id`), KEY `k` (`k`) ) ENGINE=InnoDB AUTO_INCREMENT=2340933 DEFAULT CHARSET=latin1 1 row in set (0.00 sec)
并且以不同方式執(zhí)行相同的 GROUP BY 語(yǔ)句：
1、MySQL中 的 Index Ordered GROUP BY
mysql> select k, count(*) c from tbl group by k order by k limit 5;
+---+---+
k | c
+---+---+
2 | 3
4 | 1
5 | 2
8 | 1
9 | 1
+---+---+
5 rows in set (0.00 sec)
mysql> explain select k, count(*) c from tbl group by k order by k limit 5 G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: index
possible_keys: k
key: k
key_len: 4
ref: NULL
rows: 5
filtered: 100.00
Extra: Using index
1 row in set, 1 warning (0.00 sec)
在這種情況下，我們?cè)?GROUP BY 的列上有一個(gè)索引。這樣，我們可以逐組掃描數(shù)據(jù)并動(dòng)態(tài)執(zhí)行 GROUP BY（低成本）。當(dāng)我們使用 LIMIT 限制我們檢索的組的數(shù)量或使用“覆蓋索引”時(shí)，特別有效，因?yàn)轫樞蛩饕龗呙枋且环N非常快速的操作。如果您有少量組，并且沒(méi)有覆蓋索引，索引順序掃描可能會(huì)導(dǎo)致大量 IO。所以這可能不是最優(yōu)化的計(jì)劃。
2、MySQL 中的外部排序 GROUP BYmysql> explain select SQL_BIG_RESULT g, count(*) c from tbl group by g limit 5 G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 998490
filtered: 100.00
Extra: Using filesort
1 row in set, 1 warning (0.00 sec)
mysql> select SQL_BIG_RESULT g, count(*) c from tbl group by g limit 5;
+---+---+
g | c
+---+---+
0 | 1
1 | 2
4 | 1
5 | 1
6 | 2
+---+---+
5 rows in set (0.88 sec)
如果我們沒(méi)有允許我們按組順序掃描數(shù)據(jù)的索引，我們可以通過(guò)外部排序（在 MySQL 中也稱(chēng)為“filesort”）來(lái)獲取數(shù)據(jù)。你可能會(huì)注意到我在這里使用 SQL_BIG_RESULT 提示來(lái)獲得這個(gè)計(jì)劃。沒(méi)有它，MySQL 在這種情況下不會(huì)選擇這個(gè)計(jì)劃。一般來(lái)說(shuō)，MySQL 只有在我們擁有大量組時(shí)才更喜歡使用這個(gè)計(jì)劃，因?yàn)樵谶@種情況下，排序比擁有臨時(shí)表更有效（我們將在下面討論）。
3、MySQL中 的臨時(shí)表 GROUP BYmysql> explain select g, sum(g) s from tbl group by g limit 5 G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 998490
filtered: 100.00
Extra: Using temporary
1 row in set, 1 warning (0.00 sec)
mysql> select g, sum(g) s from tbl group by g order by null limit 5;
+---+------+
g | s
+---+------+
0 | 0
1 | 2
4 | 4
5 | 5
6 | 12
+---+------+
5 rows in set (7.75 sec)
在這種情況下，MySQL 也會(huì)進(jìn)行全表掃描。但它不是運(yùn)行額外的排序傳遞，而是創(chuàng)建一個(gè)臨時(shí)表。此臨時(shí)表每組包含一行，并且對(duì)于每個(gè)傳入行，將更新相應(yīng)組的值。很多更新！雖然這在內(nèi)存中可能是合理的，但如果結(jié)果表太大以至于更新將導(dǎo)致大量磁盤(pán) IO，則會(huì)變得非常昂貴。在這種情況下，外部分揀計(jì)劃通常更好。請(qǐng)注意，雖然 MySQL 默認(rèn)選擇此計(jì)劃用于此用例，但如果我們不提供任何提示，它幾乎比我們使用 SQL_BIG_RESULT 提示的計(jì)劃慢 10 倍 。您可能會(huì)注意到我在此查詢(xún)中添加了“ ORDER BY NULL ”。這是為了向您展示“清理”臨時(shí)表的唯一計(jì)劃。沒(méi)有它，我們得到這個(gè)計(jì)劃： mysql> explain select g, sum(g) s from tbl group by g limit 5 G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: tbl partitions: NULL type: ALL possible_keys: NULL key: NULL key_len: NULL ref: NULL rows: 998490 filtered: 100.00 Extra: Using temporary; Using filesort 1 row in set, 1 warning (0.00 sec)在其中，我們獲得了 temporary 和 filesort “兩最糟糕的”提示。MySQL 5.7 總是返回按組順序排序的 GROUP BY 結(jié)果，即使查詢(xún)不需要它（這可能需要昂貴的額外排序傳遞）。ORDER BY NULL 表示應(yīng)用程序不需要這個(gè)。您應(yīng)該注意，在某些情況下 - 例如使用聚合函數(shù)訪問(wèn)不同表中的列的 JOIN 查詢(xún) - 使用 GROUP BY 的臨時(shí)表可能是唯一的選擇。如果要強(qiáng)制 MySQL 使用為 GROUP BY 執(zhí)行臨時(shí)表的計(jì)劃，可以使用 SQL_SMALL_RESULT 提示。
4、MySQL 中的索引基于跳過(guò)掃描的 GROUP BY前三個(gè) GROUP BY 執(zhí)行方法適用于所有聚合函數(shù)。然而，其中一些人有第四種方法。mysql> explain select k,max(id) from tbl group by k G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: range
possible_keys: k
key: k
key_len: 4
ref: NULL
rows: 2
filtered: 100.00
Extra: Using index for group-by
1 row in set, 1 warning (0.00 sec)
mysql> select k,max(id) from tbl group by k;
+---+---------+
k | max(id)
+---+---------+
0 | 2340920
1 | 2340916
2 | 2340932
3 | 2340928
4 | 2340924
+---+---------+
5 rows in set (0.00 sec)
此方法僅適用于非常特殊的聚合函數(shù)：MIN() 和 MAX()。這些并不需要遍歷組中的所有行來(lái)計(jì)算值。他們可以直接跳轉(zhuǎn)到組中的最小或最大組值（如果有這樣的索引）。如果索引僅建立在 (K) 列上，如何找到每個(gè)組的 MAX(ID) 值？這是一個(gè) InnoDB 表。記住 InnoDB 表有效地將 PRIMARY KEY 附加到所有索引。(K) 變?yōu)?(K,ID)，允許我們對(duì)此查詢(xún)使用 Skip-Scan 優(yōu)化。僅當(dāng)每個(gè)組有大量行時(shí)才會(huì)啟用此優(yōu)化。否則，MySQL 更傾向于使用更傳統(tǒng)的方法來(lái)執(zhí)行此查詢(xún)（如方法＃1中詳述的索引有序 GROUP BY）。雖然我們使用 MIN() / MAX() 聚合函數(shù)，但其他優(yōu)化也適用于它們。例如，如果您有一個(gè)沒(méi)有 GROUP BY 的聚合函數(shù)（實(shí)際上所有表都有一個(gè)組），MySQL 在統(tǒng)計(jì)分析階段從索引中獲取這些值，并避免在執(zhí)行階段完全讀取表： mysql> explain select max(k) from tbl G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: NULL partitions: NULL type: NULL possible_keys: NULL key: NULL key_len: NULL ref: NULL rows: NULL filtered: NULL Extra: Select tables optimized away 1 row in set, 1 warning (0.00 sec)過(guò)濾和分組
我們已經(jīng)研究了 MySQL 執(zhí)行 GROUP BY 的四種方式。為簡(jiǎn)單起見(jiàn)，我在整個(gè)表上使用了 GROUP BY，沒(méi)有應(yīng)用過(guò)濾。當(dāng)您有 WHERE 子句時(shí)，相同的概念適用： mysql> explain select g, sum(g) s from tbl where k>4 group by g order by NULL limit 5 G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: tbl partitions: NULL type: range possible_keys: k key: k key_len: 4 ref: NULL rows: 1 filtered: 100.00 Extra: Using index condition; Using temporary 1 row in set, 1 warning (0.00 sec)對(duì)于這種情況，我們使用K列上的范圍進(jìn)行數(shù)據(jù)過(guò)濾/查找，并在有臨時(shí)表時(shí)執(zhí)行 GROUP BY。在某些情況下，方法不會(huì)發(fā)生沖突。但是，在其他情況下，我們必須選擇使用 GROUP BY 的一個(gè)索引或其他索引進(jìn)行過(guò)濾：mysql> alter table tbl add key(g);
Query OK, 0 rows affected (4.17 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql> explain select g, sum(g) s from tbl where k>1 group by g limit 5 G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: index
possible_keys: k,g
key: g
key_len: 4
ref: NULL
rows: 16
filtered: 50.00
Extra: Using where
1 row in set, 1 warning (0.00 sec)
mysql> explain select g, sum(g) s from tbl where k>4 group by g limit 5 G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: range
possible_keys: k,g
key: k
key_len: 4
ref: NULL
rows: 1
filtered: 100.00
Extra: Using index condition; Using temporary; Using filesort
1 row in set, 1 warning (0.00 sec)
根據(jù)此查詢(xún)中使用的特定常量，我們可以看到我們對(duì) GROUP BY 使用索引順序掃描（并從索引中“放棄”以解析 WHERE 子句），或者使用索引來(lái)解析 WHERE 子句（但使用臨時(shí)表來(lái)解析 GROUP BY）。根據(jù)我的經(jīng)驗(yàn)，這就是 MySQL GROUP BY 并不總是做出正確選擇的地方。您可能需要使用 FORCE INDEX 以您希望的方式執(zhí)行查詢(xún)。