在做性能測試中經常會遇到一些sql的問題,其實做性能測試這幾年遇到問題最多還是數據庫這塊,要么就是IO高要么就是cpu高,所以對數據的優化在性能測試過程中占據著很重要的地方,下面我就介紹一些msyql性能調優過程中經常用到的三件利器:
1、慢查詢(分析出現出問題的sql)
2、Explain (顯示了mysql如何使用索引來處理select語句以及連接表。可以幫助選擇更好的索引和寫出更優化的查詢語句)
3、Profile(查詢到SQL 會執行多少時間, 并看出CPU/Memory 使用量, 執行過程中 System lock, Table lock 花多少時間等等.)
首先我們先講一講mysql的慢查詢
1,配置開啟
Linux:
在mysql配置文件my.cnf中增加
log-slow-queries=/var/lib/mysql/slowquery.log (指定日志文件存放位置,可以為空,系統會給一個缺省的文件host_name-
slow.log)
long_query_time=2 (記錄超過的時間,默認為10s)
log-queries-not-using-indexes (log下來沒有使用索引的query,可以根據情況決定是否開啟)
log-long-format (如果設置了,所有沒有使用索引的查詢也將被記錄) Windows:
在my.ini的[mysqld]添加如下語句:
log-slow-queries = E:\web\mysql\log\mysqlslowquery.log long_query_time = 2(其他參數如上)
2,查看方式
Linux:
使用mysql自帶命令mysqldumpslow查看
常用命令
-s ORDER what to sort by (t, at, l, al, r, ar etc), 'at’ is default
-t NUM just show the top n queries
-g PATTERN grep: only consider stmts that include this string eg:
s,是order的順序,說明寫的不夠詳細,俺用下來,包括看了代碼,主要有c,t,l,r和ac,at,al,ar,分別是按照query次數,時間,lock的時間和返回的記錄數來排序,前面加了a的時倒序-t,是top n的意思,即為返回前面多少條的數據-g,后邊可以寫一個正則匹配模式,大小寫不敏感的
mysqldumpslow -s c -t 20 host-slow.log
mysqldumpslow -s r -t 20 host-slow.log
上述命令可以看出訪問次數最多的20個sql語句和返回記錄集最多的20個sql。
mysqldumpslow -t 10 -s t -g “left join” host-slow.log這個是按照時間返回前10條里面含有左連接的sql語句。
接下來就是explain
使用方法:
執行EXPLAIN SELECT * FROM res_user ORDER BY modifiedtime LIMIT 0,1000 得到如下結果:
顯示結果分析:
table | type | possible_keys | key | key_len | ref | rows | Extra
EXPLAIN列的解釋:
table
顯示這一行的數據是關于哪張表的
type
這是重要的列,顯示連接使用了何種類型。從最好到最差的連接類型為const、eq_reg、ref、range、indexhe和ALL
possible_keys
顯示可能應用在這張表中的索引。如果為空,沒有可能的索引。可以為相關的域從WHERE語句中選擇一個合適的語句
key
實際使用的索引。如果為NULL,則沒有使用索引。很少的情況下,MYSQL會選擇優化不足的索引。這種情況下,可以在SELECT語句中使用USE INDEX(indexname)來強制使用一個索引或者用IGNORE INDEX(indexname)來強制MYSQL忽略索引
key_len
使用的索引的長度。在不損失精確性的情況下,長度越短越好
ref
顯示索引的哪一列被使用了,如果可能的話,是一個常數
rows
MYSQL認為必須檢查的用來返回請求數據的行數
Extra
關于MYSQL如何解析查詢的額外信息。將在表4.3中討論,但這里可以看到的壞的例子是Using temporary和Using filesort,意思MYSQL 根本不能使用索引,結果是檢索會很慢
extra列返回的描述的意義
Distinct
一旦MYSQL找到了與行相聯合匹配的行,就不再搜索了
Not exists
MYSQL優化了LEFT JOIN,一旦它找到了匹配LEFT JOIN標準的行,就不再搜索了
Range checked for each
Record(index map:#)
沒有找到理想的索引,因此對于從前面表中來的每一個行組合,MYSQL檢查使用哪個索引,并用它來從表中返回行。這是使用索引的最慢的連接之一
Using filesort
看到這個的時候,查詢就需要優化了。MYSQL需要進行額外的步驟來發現如何對返回的行排序。它根據連接類型以及存儲排序鍵值和匹配條件的全部行的行指針來排序全部行
Using index
列數據是從僅僅使用了索引中的信息而沒有讀取實際的行動的表返回的,這發生在對表的全部的請求列都是同一個索引的部分的時候
Using temporary
看到這個的時候,查詢需要優化了。這里,MYSQL需要創建一個臨時
表來存儲結果,這通常發生在對不同的列集進行ORDER BY上,而不是GROUP BY上
Where used
使用了WHERE從句來限制哪些行將與下一張表匹配或者是返回給用戶。如果不想返回表中的全部行,并且連接類型ALL或index,這就會發生,或者是查詢有問題
不同連接類型的解釋(按照效率高低的順序排序)
system
表只有一行:system表。這是const連接類型的特殊情況
const
表中的一個記錄的最大值能夠匹配這個查詢(索引可以是主鍵或惟一索引)。因為只有一行,這個值實際就是常數,因為MYSQL先讀這個值然后把它當做常數來對待
eq_ref
在連接中,MYSQL在查詢時,從前面的表中,對每一個記錄的聯合都從表中讀取一個記錄,它在查詢使用了索引為主鍵或惟一鍵的全部時使用
ref
這個連接類型只有在查詢使用了不是惟一或主鍵的鍵或者是這些類型的部分(比如,利用最左邊前綴)時發生。對于之前的表的每一個行聯合,全部記錄都將從表中讀出。這個類型嚴重依賴于根據索引匹配的記錄多少—越少越好
range
這個連接類型使用索引返回一個范圍中的行,比如使用>或<;查找東西時發生的情況
index
這個連接類型對前面的表中的每一個記錄聯合進行完全掃描(比ALL更好,因為索引一般小于表數據)
ALL
這個連接類型對于前面的每一個記錄聯合進行完全掃描,這一般比較糟糕,應該盡量避免
再者就是profile
我們可以先使用
mysql> SELECT @@profiling;
+-------------+
@@profiling
+-------------+
0
+-------------+
1 row in set (0.00 sec)來查看是否已經啟用profile,如果profilng
值為0,可以通過
mysql> SET profiling = 1;
Query OK, 0 rows affected (0.00 sec)
mysql> SELECT @@profiling;
+-------------+
@@profiling
+-------------+
1
+-------------+
1 row in set (0.00 sec)
來啟用。啟用profiling之后,我們執行一條查詢語句,比如:
SELECT * FROM res_user ORDER BY modifiedtime LIMIT
0,1000
mysql> show profiles;
+----------+------------+-----------------------------------------
--------------------+
Query_ID | Duration | Query
+----------+------------+-----------------------------------------
--------------------+
1 | 0.00012200 | SELECT @@profiling
2 | 1.54582000 | SELECT res_id FROM res_user
ORDER BY modifiedtime LIMIT 0,3
+----------+------------+-----------------------------------------
--------------------+
2 rows in set (0.00 sec) 注意:Query_ID表示剛執行的查詢語句
mysql> show profile for query 2;
+--------------------------------+----------+
Status | Duration
+--------------------------------+----------+
starting | 0.000013
checking query cache for query | 0.000035
Opening tables | 0.000009
System lock | 0.000002
Table lock | 0.000015
init | 0.000011
optimizing | 0.000003
statistics | 0.000006
preparing | 0.000006
executing | 0.000001
Sorting result | 1.545565
Sending data | 0.000038
end | 0.000003
query end | 0.000003
freeing items | 0.000069
storing result in query cache | 0.000004
logging slow query | 0.000001
logging slow query | 0.000033
cleaning up | 0.000003
+--------------------------------+----------+
19 rows in set (0.00 sec)
結論:可以看出此條查詢語句的執行過程及執行時間,總的時間約為1.545s。這時候我們再執行一次。
mysql> SELECT res_id FROM res_user ORDER BY modifiedtime LIMIT 0,3;
+---------+
res_id
+---------+
1000305
1000322
1000323
+---------+
3 rows in set (0.00 sec)
mysql> show profiles;
+----------+------------+-------------------------------------------------------------+
Query_ID | Duration | Query
+----------+------------+-------------------------------------------------------------+
1 | 0.00012200 | SELECT @@profiling
2 | 1.54582000 | SELECT res_id FROM res_user ORDER BY modifiedtime LIMIT 0,3
3 | 0.00006500 | SELECT res_id FROM res_user ORDER BY modifiedtime LIMIT 0,3
+----------+------------+-------------------------------------------------------------+
3 rows in set (0.00 sec)
mysql> show profile for query 3;
+--------------------------------+----------+
Status | Duration
+--------------------------------+----------+
starting | 0.000013
checking query cache for query | 0.000005
checking privileges on cached | 0.000003
sending cached result to clien | 0.000040
logging slow query | 0.000002
cleaning up | 0.000002
+--------------------------------+----------+
6 rows in set (0.00 sec) (注意紅色標記的地方)
結論:可以看出此次第二次查詢因為前一次的查詢生成了cache,所以這次無需從數據庫文件中再次讀取數據而是直接從緩存中讀取,結果查詢時間比第一次快多了(第一次查詢用了1.5秒而本次用了不到5毫秒)。