問題
在Django中使用mysql偶爾會出現數據庫連接丟失的情況,錯誤通常有如下兩種
OperationalError: (2006, 'MySQL server has gone away')
OperationalError: (2013, 'Lost connection to MySQL server during query')
查詢mysql全局變量SHOW GLOBAL VARIABLES;可以看到wait_timeout,此變量表示連接空閑時間。如果客戶端使用一個連接查詢多次數據庫,如果連續查詢則沒有問題,如果查詢幾次后停頓超過wait_timeout后再次查詢就會出現數據庫連接丟失。
復現
下面用Django復現下次問題:
將mysql的wait_timeout設置為10秒,然后進入django shell模擬查詢(以下錯誤信息只保留了部分)
In[1]:import time
In[2]:from django.contrib.auth.models import User
In[3]:list(User.objects.filter(id=1))
Out[3]:[<User: admin>]
In[4]:time.sleep(15) # 模擬比較慢的代碼(其中沒有查詢數據庫的代碼),或者空閑什么都不操作一段時間,此時間要比`wait_timeout`大一些
list(User.objects.filter(id=1))
Traceback (most recent call last):File "<ipython-input-4-3574ae8220ee>", line 1, in <module>
list(User.objects.filter(id=1))File "/usr/lib/python3.6/site-packages/pymysql/connections.py", line 1037, in _read_bytes
CR.CR_SERVER_LOST, "Lost connection to MySQL server during query")
django.db.utils.OperationalError: (2013, 'Lost connection to MySQL server during query')
尋求
那么以上問題就基本說明了是空閑時間過長導致的錯誤。
django為了減少不必要的數據庫連接、關閉,復用了數據庫連接,當開始一個請求后建立一個連接池存放連接,之后此次請求都復用一個連接。那猜測就是django保存連接的比wait_timeout長了,如果保存時間短一些就可以重新建立連接避免此錯誤了。 沒錯,官方文檔也已經說明了此問題,設置數據庫 CONN_MAX_AGE參數,示例:
DATABASES = { "default": { 'ENGINE': 'django.db.backends.mysql', 'NAME': '', 'USER': '', 'PASSWORD': '', 'HOST': '', 'CONN_MAX_AGE': 9 # 比wait_timeout小一些 }}當我們測試后卻發現,事情并非想想中那么簡單。為何錯誤依舊出現?這一切的背后, 是人性的扭曲還是道德的淪喪?敬請收看下節《突破》。
突破
對django源碼中CONN_MAX_AGE進行了一番搜索,順藤摸瓜發現了django關閉失效連接的方法django.db.close_old_connections():
# Register an event to reset transaction state and close connections past# their lifetime.def close_old_connections(**kwargs): for conn in connections.all(): conn.close_if_unusable_or_obsolete()signals.request_started.connect(close_old_connections)signals.request_finished.connect(close_old_connections)
重點在最后兩行,通過signal實現特定事件時執行此方法,兩個特定事件顧名思義是請求開始和請求結束。而我們報錯的是在一次請求中,所以此法通常無效,僅僅是實現每個請求關閉并重新建立連接。
解決
復現問題的django shell不要關閉,繼續執行如下代碼:
In[5]:from django.db import close_old_connections
In[6]:close_old_connections()
In[7]:list(User.objects.filter(id=1))
Out[7]: [<User: admin>]
調用django.db.close_old_connections后再次查詢就沒有錯誤了。 那么我們要避免此錯誤就要執行每個數據庫查詢前調用django.db.close_old_connections方法。
一般情況不會出現此類問題,因為一個請求中不間斷進行數據庫查詢,無需每個請求調用此方法,杞人憂天。
有時候一個請求中數據量較大,會查詢數據庫后進行一段時間其他(不涉及數據庫)處理,比如先查詢一些數據,然后將數據處理、生成excel、保存文件并生成url。已知此過長需要非常長時間,那么最終url保存數據庫就最好先調用django.db.close_old_connections防止連接丟失
題外話 實際上②所述情況最好從根本上解決處理慢的問題,也可以換作異步處理,從根本上解決問題。
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持VEVB武林網。
新聞熱點
疑難解答