使用Python如何測試InnoDB與MyISAM的讀寫性能

2020-01-04 14:31:03

字體：大中小

來源：轉載

供稿：網友

前言

由于近期有個項目對系統性能要求很高，技術選型上由于種種原因已經確定使用Mysql數據庫，接下來就是要確定到底使用哪種存儲引擎。我們的應用是典型的寫多讀少，寫入內容為也很短，對系統的穩定性要求很高。所以存儲引擎肯定就定在廣泛使用的Innodb和MyISAM之中了。

至于兩者的比較網上也有很多，但是畢竟這個事情也不復雜，決定還是自己來做，去驗證一下在我們的場景下誰更優。

本文測試所用工具版本如下：

Tools	Version
MySQL	5.7.18
Python	3.6
Pandas	0.23

① 創建數據表

首先我們需要把兩張使用了不同引擎的表創建出來，使用為了方便起見，我們直接使用Navicat創建了兩張員工信息表，具體字段如下：

Python,InnoDB,MyISAM,讀寫性能

使用InnoDB引擎的表，設計表名為innodb，選項如下：

Python,InnoDB,MyISAM,讀寫性能

使用InnoDB引擎的表，設計表名為myisam，選項如下：

Python,InnoDB,MyISAM,讀寫性能

因為是簡單操作，創建的具體細節就不詳述了，至此，我們的數據庫就把使用 InnoDB 和 MyISAM 兩種引擎的表創建好了。

② 單線程寫入性能對比

1. InnoDB 引擎

執行以下代碼，往使用了InnoDB引擎的表格插入1000條數據

import pandas as pdfrom sqlalchemy import create_engineimport timedb = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')start = time.time()for i in range(1000): data = {'index': i,   'name': 'name_' + str(i),   'age': i,   'salary': i,   'level': i} df = pd.DataFrame(data, index=[0]) df.to_sql('innodb', db, if_exists='append', index=False)end = time.time()print(end - start)

執行3次上面的代碼，得到程序寫入1000條數據的時間分別為：12.58s、14.10s、12.71s，平均寫入時間為 13.13s。

2. MyISAM 引擎

執行以下代碼，往使用了MyISAM引擎的表格插入1000條數據

import pandas as pdfrom sqlalchemy import create_engineimport timedb = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')start = time.time()for i in range(1000): data = {'index': i,   'name': 'name_' + str(i),   'age': i,   'salary': i,   'level': i} df = pd.DataFrame(data, index=[0]) df.to_sql('myisam', db, if_exists='append', index=False)end = time.time()print(end - start)

執行3次上面的代碼，得到程序寫入1000條數據的時間分別為：6.64s、6.99s、7.29s，平均寫入時間為 6.97s。

兩種引擎的單線程寫入速度對比如下：

Python,InnoDB,MyISAM,讀寫性能

結論：單線程的情況下，MyISAM引擎的寫入速度比InnoDB引擎的寫入速度快88%

③ 多線程寫入性能對比

1. InnoDB 引擎

執行以下代碼，往使用了InnoDB引擎的表格插入1000條數據

import pandas as pdfrom sqlalchemy import create_engineimport timefrom concurrent.futures import ThreadPoolExecutordb = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')start = time.time()data_lst = [{'index': i,    'name': 'name_' + str(i),    'age': i,    'salary': i,    'level': i} for i in range(1000)]def write(data): df = pd.DataFrame(data, index=[0]) df.to_sql('innodb', db, if_exists='append', index=False)def execute(): with ThreadPoolExecutor(max_workers=5) as executor:  executor.map(write, data_lst)execute()end = time.time()print(end - start)

執行3次上面的代碼，得到程序寫入1000條數據的時間分別為：4.98s、4.84s、4.88s，平均寫入時間為 4.9s。

2. MyISAM 引擎

執行以下代碼，往使用了MyISAM引擎的表格插入1000條數據

import pandas as pdfrom sqlalchemy import create_engineimport timefrom concurrent.futures import ThreadPoolExecutordb = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')start = time.time()data_lst = [{'index': i,    'name': 'name_' + str(i),    'age': i,    'salary': i,    'level': i} for i in range(1000)]def write(data): df = pd.DataFrame(data, index=[0]) df.to_sql('myisam', db, if_exists='append', index=False)def execute(): with ThreadPoolExecutor(max_workers=5) as executor:  executor.map(write, data_lst)execute()end = time.time()print(end - start)

執行3次上面的代碼，得到程序寫入1000條數據的時間分別為：3.29s、3.62s、3.47s，平均寫入時間為 3.46s。

兩種引擎的多線程寫入速度對比如下：

Python,InnoDB,MyISAM,讀寫性能

結論：多線程的情況下，MyISAM引擎的寫入速度比InnoDB引擎的寫入速度快42%

④ 讀取性能對比

為了獲得數據量較大的表用于測試數據庫的讀取性能，我們循環執行10遍上面多線程寫入數據的操作，得到兩張數據量為10000條數據的表格，然后讀取10遍該表格，獲取讀取時間

1. InnoDB 引擎

執行以下代碼，讀取10遍使用了InnoDB引擎的表格

import pandas as pdfrom sqlalchemy import create_engineimport timedb = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')start = time.time()for _ in range(10): df = pd.read_sql('innodb', db)end = time.time()print(end - start)

執行3次上面的代碼，得到程序10次讀取10000條數據的時間分別為：28.94s、28.88s、28.48s，平均寫入時間為 28.77s。

2. MyISAM 引擎

執行以下代碼，讀取10遍使用了MyISAM引擎的表格

import pandas as pdfrom sqlalchemy import create_engineimport timedb = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')start = time.time()for _ in range(10): df = pd.read_sql('innodb', db)end = time.time()print(end - start)

執行3次上面的代碼，得到程序10次讀取10000條數據的時間分別為：28.51s、29.12s、28.76s，平均寫入時間為 28.8s。

兩種引擎的讀取速度對比如下：

Python,InnoDB,MyISAM,讀寫性能