MySQL性能優化

jopen 10年前發布 | 11K 次閱讀 MySQL 數據庫服務器

如何從MySQL一個數據表中提取一條隨機的效率,同時要保證效率最高。

方法一

這是最原始最直觀的語法,如下:

SELECT * FROM foo ORDER BY RAND() LIMIT 1

當數據表中數據量較小時,此方法可行。但當數據量到達一定程度,比如100萬數據或以上,就有很大的性能問題。如果你通過EXPLAIN來分析這個 語句,會發現雖然MySQL通過建立一張臨時表來排序,但由于ORDER BY和LIMIT本身的特性,在排序未完成之前,我們還是無法通過LIMIT來獲取需要的記錄。亦即,你的記錄有多少條,就必須首先對這些數據進行排序。

方法二

看來對于大數據量的隨機數據抽取,性能的癥結出在ORDER BY上,那么如何避免?方法二提供了一個方案。

首先,獲取數據表的所有記錄數:

SELECT count(*) AS num_rows FROM foo

然后,通過對應的后臺程序記錄下此記錄總數(假定為num_rows)。

然后執行:

SELECT * FROM foo LIMIT [0到num_rows之間的一個隨機數],1

上面這個隨機數的獲得可以通過后臺程序來完成。此方法的前提是表的ID是連續的或者自增長的。

這個方法已經成功避免了ORDER BY的產生。

方法三

有沒有可能不用ORDER BY,用一個SQL語句實現方法二?可以,那就是用JOIN。

SELECT * FROM Bar B JOIN (SELECT CEIL(MAX(ID)*RAND()) AS ID FROM Bar) AS m ON B.ID >= m.ID LIMIT 1;

此方法實現了我們的目的,同時,在數據量大的情況下,也避免了ORDER BY所造成的所有記錄的排序過程,因為通過JOIN里面的SELECT語句實際上只執行了一次,而不是N次(N等于方法二中的num_rows)。而且, 我們可以在篩選語句上加上“大于”符號,還可以避免因為ID好不連續所產生的記錄為空的現象。

在mysql中查詢5條不重復的數據,使用以下:

SELECT FROM table ORDER BY RAND() LIMIT 5

就可以了。但是真正測試一下才發現這樣效率非常低。一個15萬余條的庫,查詢5條數據,居然要8秒以上

搜索Google,網上基本上都是查詢max(id)
rand()來隨機獲取數據。

SELECT
FROM table AS t1 JOIN (SELECT ROUND(RAND()
(SELECT MAX(id) FROM table)) AS id) AS t2
WHERE t1.id >= t2.id
ORDER BY t1.id ASC LIMIT 5;

但是這樣會產生連續的5條記錄。解決辦法只能是每次查詢一條,查詢5次。即便如此也值得,因為15萬條的表,查詢只需要0.01秒不到。

上面的語句采用的是JOIN,mysql的論壇上有人使用

SELECT
FROM table
WHERE id >= (SELECT FLOOR( MAX(id)
RAND()) FROM table )
ORDER BY id LIMIT 1;

我測試了一下,需要0.5秒,速度也不錯,但是跟上面的語句還是有很大差距。總覺有什么地方不正常。

于是我把語句改寫了一下。

SELECT FROM table
WHERE id >= (SELECT floor(RAND()
(SELECT MAX(id) FROM table))) 
ORDER BY id LIMIT 1;

這下,效率又提高了,查詢時間只有0.01秒

最后,再把語句完善一下,加上MIN(id)的判斷。我在最開始測試的時候,就是因為沒有加上MIN(id)的判斷,結果有一半的時間總是查詢到表中的前面幾行。
完整查詢語句是:

SELECT FROM table
WHERE id >= (SELECT floor( RAND()
((SELECT MAX(id) FROM table)-(SELECT MIN(id) FROM table)) + (SELECT MIN(id) FROM table))) 
ORDER BY id LIMIT 1;

SELECT
FROM table AS t1 JOIN (SELECT ROUND(RAND()
((SELECT MAX(id) FROM table)-(SELECT MIN(id) FROM table))+(SELECT MIN(id) FROM table)) AS id) AS t2
WHERE t1.id >= t2.id
ORDER BY t1.id LIMIT 1;

最后對這兩個語句進行分別查詢10次,
前者花費時間 0.147433 秒
后者花費時間 0.015130 秒
看來采用JOIN的語法比直接在WHERE中使用函數效率還要高很多

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!