国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python小技巧之批量抓取美女圖片

2019-11-25 18:23:40
字體:
來源:轉載
供稿:網友

其中用到urllib2模塊和正則表達式模塊。下面直接上代碼:

[/code]
#!/usr/bin/env python
#-*- coding: utf-8 -*-
#通過urllib(2)模塊下載網絡內容
import urllib,urllib2,gevent
#引入正則表達式模塊,時間模塊
import re,time
from gevent import monkey

monkey.patch_all()

def geturllist(url):
    url_list=[]
    print url      
    s = urllib2.urlopen(url)
    text = s.read()
    #正則匹配,匹配其中的圖片
    html = re.search(r'<ol.*</ol>', text, re.S)
    urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)
    for i in urls:
        url=i.group(1).strip()+str("jpg")
        url_list.append(url)
    return url_list

def download(down_url):
    name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)
    print name
    urllib.urlretrieve(down_url, "D://TEMP//"+name)

def getpageurl():
    page_list = []
    #進行列表頁循環
    for page in range(1,700):
        url="http://jandan.net/ooxx/page-"+str(page)+"#comments"
        #把生成的url加入到page_list中
        page_list.append(url)
    print page_list
    return page_list
if __name__ == '__main__':
    jobs = []
    pageurl = getpageurl()[::-1]
    #進行圖片下載
    for i in pageurl:
        for (downurl) in geturllist(i):
            jobs.append(gevent.spawn(download, downurl))
    gevent.joinall(jobs)
[/code]

程序不長才45行,不是太難,大家可以研究下,這里我只是拋磚引玉,大家可以根據原理開發出其他的抓取程序,呵呵,自己想去吧。。。我就不多說了~~

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 句容市| 涟源市| 庐江县| 海晏县| 乌鲁木齐县| 嘉荫县| 潮州市| 虹口区| 靖西县| 兰考县| 赤峰市| 北京市| 宣恩县| 三明市| 平和县| 彰武县| 霍城县| 沙坪坝区| 遂昌县| 彰武县| 开远市| 城固县| 都匀市| 灵丘县| 伊金霍洛旗| 平谷区| 株洲市| 钟山县| 佛学| 东乡| 庄浪县| 崇阳县| 五台县| 宜川县| 普兰店市| 彩票| 深圳市| 汉沽区| 扶风县| 上犹县| 松溪县|