国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python實現周期性抓取網頁內容的方法

2019-11-25 17:03:06
字體:
來源:轉載
供稿:網友

本文實例講述了Python實現周期性抓取網頁內容的方法。分享給大家供大家參考,具體如下:

1.使用sched模塊可以周期性地執行指定函數

2.在周期性執行指定函數中抓取指定網頁,并解析出想要的網頁內容,代碼中是六維論壇的在線人數

論壇在線人數統計代碼:

#coding=utf-8import time,sched,os,urllib2,re,string#初始化sched模塊的scheduler類#第一個參數是一個可以返回時間戳的函數,第二個參數可以在定時未到達之前阻塞。s = sched.scheduler(time.time,time.sleep)#被周期性調度觸發的函數def event_func():  req = urllib2.Request('http://bt.neu6.edu.cn/')  response = urllib2.urlopen(req)  rawdata = response.read()  response.close()  usernump = re.compile(r'總計 <em>.*?</em> 人在線')  usernummatch = usernump.findall(rawdata)  if usernummatch:    currentnum=usernummatch[0]    currentnum=currentnum[string.index(currentnum,'>')+1:string.rindex(currentnum,'<')]    print "Current Time:",time.strftime('%Y,%m,%d,%H,%M',time.localtime(time.time())),'User num:',currentnum    # 保存結果,供圖表工具amcharts使用    result=open('liuvUserNUm','a')    result.write('{year: new Date('+time.strftime('%Y,%m,%d,%H,%M',time.localtime(time.time()))+'),value:'+currentnum+'},/n')    result.close()#enter四個參數分別為:間隔事件、優先級(用于同時間到達的兩個事件同時執行時定序)、被調用觸發的函數,給他的參數(注意:一定要以tuple給如,如果只有一個參數就(xx,))def perform(inc):  s.enter(inc,0,perform,(inc,))  event_func()def mymain(inc=900):  s.enter(0,0,perform,(inc,))  s.run()if __name__ == "__main__":  mymain()

希望本文所述對大家Python程序設計有所幫助。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 长子县| 鄂托克前旗| 辽宁省| 于都县| 金湖县| 苗栗县| 新昌县| 寻甸| 台中县| 邛崃市| 台东市| 阳山县| 福建省| 深圳市| 隆安县| 凯里市| 临泽县| 麻江县| 西华县| 古浪县| 即墨市| 横峰县| 若羌县| 庆城县| 正定县| 焦作市| 隆林| 郓城县| 涿州市| 隆化县| 凌源市| 长兴县| 丽水市| 龙海市| 屏南县| 珲春市| 凯里市| 满洲里市| 图木舒克市| 合肥市| 泰州市|