国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁(yè) > 編程 > Python > 正文

多線程爬蟲(chóng)批量下載pcgame圖片url 保存為xml的實(shí)現(xiàn)代碼

2020-02-23 04:48:53
字體:
來(lái)源:轉(zhuǎn)載
供稿:網(wǎng)友

代碼如下:
#coding=gbk
from xml.dom import minidom,Node
import urllib2,re,os
def readsrc(src):
    try:
        url = urllib2.urlopen(src)
        content = url.read()#.decode('utf-8')
        return content
    except:
        print 'error'
        return None
def pictype(content):
    '''
    通過(guò)抓取網(wǎng)站導(dǎo)航欄,獲得網(wǎng)站的圖片類型
    返回列表,每個(gè)列表元素為一個(gè)字典,addr代表圖片類型對(duì)于的鏈接,name代表圖片類型的名稱
    錯(cuò)誤會(huì)返回None
    '''
    p = re.compile(r'<ul>(.*)</ul>',re.S)
    r=p.search(content)
    if r:
        content=r.group()
    else:
        print None
    p = re.compile(r'<li/s*.*?>/s*<a href *= *"(?P<addr>.*?)">(?P<name>.*?)/s*</a>/s*</li>')

    l = [i.groupdict() for i in p.finditer(content)]
    l=l[1:]
    if len(l):return l
    else:return None
def pageinfo(src):
    '''
    獲取一個(gè)頁(yè)面的詳細(xì)信息
    返回對(duì)于的字典列表
    name:圖片的名字
    cutaddr:縮小的瀏覽圖
    picaddr:實(shí)際圖片的地址
    '''
    d=os.path.split(src)[0]
    try:
        url = urllib2.urlopen(src)
        content = url.read()#.decode('utf-8')
    except:
        print 'error'
        return None
    #find all the pictures info in a page
    p = re.compile(r'<ul.*?>(.*?)</ul>',re.S)
    r = p.findall(content)
    if not r: return None
    r = r[1]
    p = re.compile(r'<li><a href="(?P<picaddr>.*?)".*?><img.*?alt="(?P<name>.*?)" *src="(?P<cutaddr>.*?)" */></a>.*?</li>')
    l = [ i.groupdict() for i in p.finditer(r)]
    for i in l:
        i['picaddr']=d+'/'+i['picaddr']
    if len(l): return l
    else: return None

def nextpageaddr(src):
    '''
    從頁(yè)面的html源碼中獲取下一個(gè)頁(yè)面地址的名稱,最后一頁(yè)返回None
    '''

發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 宁武县| 兴隆县| 金山区| 庆云县| 永安市| 庄浪县| 郓城县| 错那县| 达孜县| 贞丰县| 安义县| 格尔木市| 鄂托克前旗| 牡丹江市| 红原县| 花莲县| 沐川县| 越西县| 礼泉县| 临潭县| 桃园县| 呼图壁县| 报价| 柏乡县| 深泽县| 临汾市| 托里县| 北辰区| 胶州市| 金沙县| 台南市| 大连市| 东台市| 永靖县| 齐河县| 陆丰市| 县级市| 兴海县| 郴州市| 秦安县| 南宫市|