Python MySQL數據庫連接池組件pymysqlpool詳解

2020-01-04 16:57:27

字體：大中小

來源：轉載

供稿：網友

引言

pymysqlpool （本地下載）是數據庫工具包中新成員，目的是能提供一個實用的數據庫連接池中間件，從而避免在應用中頻繁地創建和釋放數據庫連接資源。

pymysql,pool,python,mysql,數據庫連接池

功能

連接池本身是線程安全的，可在多線程環境下使用，不必擔心連接資源被多個線程共享的問題；
提供盡可能緊湊的接口用于數據庫操作；
連接池的管理位于包內完成，客戶端可以通過接口獲取池中的連接資源（返回 python/203713.html">python/266925.html">pymysql.Connection）；
將最大程度地與 dataobj 等兼容，便于使用；
連接池本身具備動態增加連接數的功能，即 max_pool_size 和 step_size 會用于控制每次增加的連接數和最大連接數；
連接池最大連接數亦動態增加，需要開啟 enable_auto_resize 開關，此后當任何一次連接獲取超時發生，均記為一次懲罰，并且將 max_pool_size 擴大一定倍數。

基本工作流程

注意，當多線程同時請求時，若池中沒有可用的連接對象，則需要排隊等待

初始化后優先創建 step_size 個連接對象，放在連接池中；
客戶端請求連接對象，連接池會從中挑選最近沒使用的連接對象返回（同時會檢查連接是否正常）；
客戶端使用連接對象，執行相應操作后，調用接口返回連接對象；
連接池回收連接對象，并將其加入池中的隊列，供其它請求使用。

|--------|        |--------------||  | <==borrow connection object== | Pool manager || Client |        |    ||  | ==return connection object==> | FIFO queue ||--------|        |--------------|

參數配置

pool_name: 連接池的名稱，多種連接參數對應多個不同的連接池對象，多單例模式；
host: 數據庫地址
user: 數據庫服務器用戶名
password: 用戶密碼
database: 默認選擇的數據庫
port: 數據庫服務器的端口
charset: 字符集，默認為 ‘utf8'
use_dict_cursor: 使用字典格式或者元組返回數據；
max_pool_size: 連接池優先最大連接數；
step_size: 連接池動態增加連接數大小；
enable_auto_resize: 是否動態擴展連接池，即當超過 max_pool_size 時，自動擴展 max_pool_size；
pool_resize_boundary: 該配置為連接池最終可以增加的上上限大小，即時擴展也不可超過該值；
auto_resize_scale: 自動擴展 max_pool_size 的增益，默認為 1.5 倍擴展；
wait_timeout: 在排隊等候連接對象時，最多等待多久，當超時時連接池嘗試自動擴展當前連接數；
kwargs: 其他配置參數將會在創建連接對象時傳遞給 pymysql.Connection

使用示例

1、使用 cursor 上下文管理器（快捷方式，但每次獲取都會申請連接對象，多次調用效率不高）：

from pymysqlpool import ConnectionPoolconfig = { 'pool_name': 'test', 'host': 'localhost', 'port': 3306, 'user': 'root', 'password': 'root', 'database': 'test'}def connection_pool(): # Return a connection pool instance pool = ConnectionPool(**config) pool.connect() return pool# 直接訪問并獲取一個 cursor 對象，自動 commit 模式會在這種方式下啟用with connection_pool().cursor() as cursor: print('Truncate table user') cursor.execute('TRUNCATE user') print('Insert one record') result = cursor.execute('INSERT INTO user (name, age) VALUES (%s, %s)', ('Jerry', 20)) print(result, cursor.lastrowid) print('Insert multiple records') users = [(name, age) for name in ['Jacky', 'Mary', 'Micheal'] for age in range(10, 15)] result = cursor.executemany('INSERT INTO user (name, age) VALUES (%s, %s)', users) print(result) print('View items in table user') cursor.execute('SELECT * FROM user') for user in cursor:  print(user) print('Update the name of one user in the table') cursor.execute('UPDATE user SET name="Chris", age=29 WHERE id = 16') cursor.execute('SELECT * FROM user ORDER BY id DESC LIMIT 1') print(cursor.fetchone()) print('Delete the last record') cursor.execute('DELETE FROM user WHERE id = 16')

2、使用 connection 上下文管理器：

import pandas as pdfrom pymysqlpool import ConnectionPoolconfig = { 'pool_name': 'test', 'host': 'localhost', 'port': 3306, 'user': 'root', 'password': 'root', 'database': 'test'}def connection_pool(): # Return a connection pool instance pool = ConnectionPool(**config) pool.connect() return poolwith connection_pool().connection() as conn: pd.read_sql('SELECT * FROM user', conn)# 或者connection = connection_pool().borrow_connection()pd.read_sql('SELECT * FROM user', conn)connection_pool().return_connection(connection)

更多測試請移步 test_example.py。

依賴