目標(biāo)

嗯，我們知道搜索或?yàn)g覽網(wǎng)站時(shí)會(huì)有很多精美、漂亮的圖片。

我們下載的時(shí)候，得鼠標(biāo)一個(gè)個(gè)下載，而且還翻頁。

那么，有沒有一種方法，可以使用非人工方式自動(dòng)識(shí)別并下載圖片。美美噠。

那么請(qǐng)使用python語言，構(gòu)建一個(gè)抓取和下載網(wǎng)頁圖片的爬蟲。

當(dāng)然為了提高效率，我們同時(shí)采用多線程并行方式。

思路分析

Python有很多的第三方庫，可以幫助我們實(shí)現(xiàn)各種各樣的功能。問題在于，我們弄清楚我們需要什么：

1）http請(qǐng)求庫，根據(jù)網(wǎng)站地址可以獲取網(wǎng)頁源代碼。甚至可以下載圖片寫入磁盤。

2）解析網(wǎng)頁源代碼，識(shí)別圖片連接地址。比如正則表達(dá)式，或者簡(jiǎn)易的第三方庫。

3）支持構(gòu)建多線程或線程池。

4）如果可能，需要偽造成瀏覽器，或繞過網(wǎng)站校驗(yàn)。（嗯，網(wǎng)站有可能會(huì)防著爬蟲 ;-)）

5）如果可能，也需要自動(dòng)創(chuàng)建目錄，隨機(jī)數(shù)、日期時(shí)間等相關(guān)內(nèi)容。

如此，我們開始搞事情。O(∩_∩)O~

環(huán)境配置

操作系統(tǒng)：windows 或 linux 皆可

Python版本：Python3.6 ( not Python 2.x 哦)

第三方庫

urllib.request

threading 或者 concurrent.futures 多線程或線程池（python3.2+）

re 正則表達(dá)式內(nèi)置模塊

os 操作系統(tǒng)內(nèi)置模塊

編碼過程

我們分解一下過程。完整源代碼在博文最終提供。

偽裝為瀏覽器

import urllib.request# ------ 偽裝為瀏覽器 ---def makeOpener(head={  'Connection': 'Keep-Alive',  'Accept': 'text/html, application/xhtml+xml, */*',  'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',  'Connection': 'keep-alive',  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:57.0) Gecko/20100101 Firefox/57.0'  }):  cj = http.cookiejar.CookieJar()  opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))  header = []  for key, value in head.items():    elem = (key, value)    header.append(elem)  opener.addheaders = header  return opener

獲取網(wǎng)頁源代碼

# ------ 獲取網(wǎng)頁源代碼 ---# url 網(wǎng)頁鏈接地址def getHtml(url):  print('url='+url)  oper = makeOpener()  if oper is not None:    page = oper.open(url)    #print ('-----oper----')  else:    req=urllib.request.Request(url)    # 爬蟲偽裝瀏覽器    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:57.0) Gecko/20100101 Firefox/57.0')    page = urllib.request.urlopen(req)  html = page.read()  if collectHtmlEnabled: #是否采集html    with open('html.txt', 'wb') as f:      f.write(html) # 采集到本地文件，來分析  # ------ 修改html對(duì)象內(nèi)的字符編碼為UTF-8 ------  if chardetSupport:    cdt = chardet.detect(html)    charset = cdt['encoding'] #用chardet進(jìn)行內(nèi)容分析  else:    charset = 'utf8'  try:    result = html.decode(charset)  except:    result = html.decode('gbk')  return result