国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

詳解多線程Django程序耗盡數據庫連接的問題

2020-01-04 14:25:33
字體:
來源:轉載
供稿:網友

Django的ORM是非常好用的,哪怕不是做Web項目也值得一用,所以網上也可以找到不少使用 Django 開發非Web項目的資料,因為除了ORM之個,命令行、配置文件等組件也非常好用。

最近用這種方式開發了一個非Web項目,而且是多線程的。有N個工作線程從DB中獲取jobs,并把結果寫回DB。簡單來說就是這樣。

項目運行一段時間后,發現數據庫連接耗盡了,幸好內存大,然后一直往上調,最后連接數都上九千多一萬了。耗盡連接數的時候,PostgreSQL 會出現類似這樣的錯誤:

FATAL: remaining connection slots are reserved for non-replication superuser connections

然后就各種看文檔、代碼,找問題,其中艱難略下不表,最后大概是這么些個知識點:

  1. Django里的數據庫連接是放在線程的 local() 實例中的。
  2. 任何時候,需要一個數據庫連接的話,Django就會創建一條出來,或者用本線程已有的那條。
  3. 如果是Web項目,在請求結束的時候,Django會去關閉掉連接。是的,沒有連接池。
  4. 因為我們是非Web項目,所以不存在請求結束事件,所以一直沒的關閉連接。但本來這個應該也不會造成問題的,因為沒關閉就一直用唄,但不知道哪里出了問題,會出現連接泄漏,所以連接數據會一直增長。

最后的解決方案是找時機主動關閉數據庫連接,具體到我們項目,就是每次工作線程完成一個任務后,就把它相關的連接關掉,因為我們用的是 ThreadPoolExecutor ,所以Django很容易做到這一點。

重點代碼如下:

from django.db import connectionsdef on_done(future):  # 因為每一個線程都有一個 connections,所以這里可以調用 close_all(),把本線程名下的所有連接關閉。  connections.close_all()def main():  # ...  with ThreadPoolExecutor() as executor:    while True:      future = executor.submit(do, get_a_job())      future.add_done_callback(on_done)

主動關閉后,數據庫連接數降到與工作線程數相近,并保持穩定。

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持VEVB武林網。


注:相關教程知識閱讀請移步到python教程頻道。
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 阿拉善左旗| 大田县| 阿勒泰市| 同德县| 梓潼县| 桃园县| 清新县| 灵武市| 成都市| 海门市| 中方县| 比如县| 牙克石市| 商洛市| 德惠市| 万宁市| 宾川县| 正安县| 邹平县| 普兰店市| 泊头市| 古蔺县| 花莲市| 云龙县| 阿拉尔市| 韩城市| 泽州县| 金川县| 黄大仙区| 纳雍县| 宿松县| 肃北| 沐川县| 洪雅县| 齐齐哈尔市| 方城县| 搜索| 东港市| 临颍县| 宜城市| 黔南|