国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

解決python線程卡死的問題

2020-02-16 01:12:08
字體:
來源:轉載
供稿:網友

1. top命令和日志方式判定卡死的位置

python代碼忽然卡死,日志不輸出,通過如下方式可以確定線程確實已經死掉了:

# top 命令

top命令可以看到機器上所有線程的執行情況,%CPU和%MEM可以看出線程消耗的資源情況

由于機器上線程數量太多,可能要查看的線程的信息在top命令當前屏幕上顯示不出來可以通過如下方式查看

在top命令下輸入:u

接下來會提示輸入用戶名,就可以查看該用戶所執行的所有線程

Which user (blank for all): denglinjie

這樣就可以看到degnlinjie用戶的所有線程

可以看到那幾個卡死線程的%CPU和%MEM都為0,說明線程根本沒有消耗資源,那么可以看出線程已經卡死了

接下來通過打日志的方式來確定線程究竟是卡死在哪里了,線程卡死的地方大多數都是在io或者http請求那,所以以后遇到線程卡死的情況,就通過打日志的方式來確定卡死的位置,最終定位到問題確實是一個http服務掛掉了,而且此時requests.get()我雖然設置了超時,但是竟然無效

2 . 服務進程數量不足導致的客戶端進程卡死

服務端代碼:

handler = SimilarityService()transport = TSocket.TServerSocket('10.134.113.75', 1234)factory = TBinaryProtocol.TBinaryProtocolFactory()processor = Processor(handler)server = TProcessPoolServer.TProcessPoolServer(processor, transport)server.setNumWorkers(10)server.serve()

客戶端代碼

docQue = queues.Queue(maxsize=1000)pCount = 15  class ParseSaveEsProcess(multiprocessing.Process):   def __init__(self, threadId):    self.threadId = threadId    multiprocessing.Process.__init__(self)   def run(self):    global docQue    f = open('recall_match_file_all_simi.lst.%s' % self.threadId, 'w')    try:      transport = TSocket.TSocket('10.134.113.75', 1234)      transport = TTransport.TBufferedTransport(transport)      protocol = TBinaryProtocol.TBinaryProtocol(transport)      client = Client(protocol)      transport.open()       while True:        line = docQue.get(block=True)        if not line:          print 'thread%d run over' % self.threadId            break         p = line.split('/t')        if len(p) >= 6 and p[5] == 'simi_high':          simi_str = client.calculate_similarity_by_itemurl(p[0])          f.write(line + '/t' + simi_str + '/n')        else:          f.write(line + '/n')        transport.close()    except Thrift.TException as e:      print str(e)      pass   class PutUrlProcess(multiprocessing.Process):   def __init__(self):    multiprocessing.Process.__init__(self)   def run(self):    global docQue    for line in open('recall_match_file.lst', 'r'):      baikeid = line.strip()      docQue.put(baikeid, block=True)     for i in range(pCount):      docQue.put(None, block=True)  if __name__ == '__main__':  putProcess = PutUrlProcess()  putProcess.start()   for i in range(pCount):    parseProcess = ParseSaveEsProcess(i)    parseProcess.start()            
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 贡山| 视频| 阿拉善盟| 松阳县| 姚安县| 来凤县| 永康市| 通榆县| 习水县| 儋州市| 炉霍县| 都匀市| 洪江市| 绥芬河市| 石楼县| 武隆县| 武汉市| 星座| 龙山县| 辽中县| 迁安市| 邵东县| 北海市| 且末县| 孟津县| 荣成市| 湘潭市| 柘城县| 石狮市| 鸡西市| 高清| 清流县| 凤凰县| 囊谦县| 张家港市| 南宫市| 托克逊县| 昭平县| 浦东新区| 凯里市| 聂拉木县|