下載圖片
下載圖片有兩種方式，一種是通過 Requests 模塊發送 get 請求下載，另一種是使用 Scrapy 的 ImagesPipeline 圖片管道類，這里主要講后者。
安裝 Scrapy 時并沒有安裝圖像處理依賴包 Pillow，需手動安裝否則運行爬蟲出錯。
首先在 settings.py 中設置圖片的存儲路徑：
IMAGES_STORE = 'D:/'
圖片處理相關的選項還有：
# 圖片最小高度和寬度設置，可以過濾太小的圖片IMAGES_MIN_HEIGHT = 110IMAGES_MIN_WIDTH = 110# 生成縮略圖選項IMAGES_THUMBS = { 'small': (50, 50), 'big': (270, 270),}之前已經存在提取內容的 TuchongPipeline 類，如果使用 ImagePipeline 可以將提取內容的操作都合并過來，但是為了更好的說明圖片管道的作用，我們再單獨創建一個 ImagePipeline 類，加到 pipelines.py 文件中，同時重載函數 get_media_requests：
class PhotoGalleryPipeline(object): ...class PhotoPipeline(ImagesPipeline): def get_media_requests(self, item, info): for (id, url) in item['images'].items(): yield scrapy.Request(url)
上篇文章中我們把圖片的URL保存在了 item['images'] 中，它是一個字典類型的數組，形如：[{img_id: img_url}, ...]，此函數中需要把 img_url 取出并構建為 scrapy.Request 請求對象并返回，每一個請求都將觸發一次下載圖片的操作。
到 settings.py 中注冊 PhotoPipeline，并把優先級設的比提取內容的管道要高一些，保證圖片下載優先于內容處理，目的是如果有圖片下載未成功，通過觸發 DropItem 異常可以中斷這一個 Item 的處理，防止不完整的數據進入下一管道：
ITEM_PIPELINES = { 'Toutiao.pipelines.PhotoGalleryPipeline': 300, 'Toutiao.pipelines.PhotoPipeline': 200,}執行爬蟲 scrapy crawl photo ，如無錯誤，在設定的存儲目錄中會出現一個 full 目錄，里面是下載后的圖片。
文件名處理
下載的文件名是以圖片URL通過 sha1 編碼得到的字符，類似 0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg 不是太友好，可以通過重載 file_path 函數自定義文件名，比如可以這樣保留原文件名：
... def file_path(self, request, response=None, info=None): file_name = request.url.split('/')[-1] return 'full/%s' % (file_name)...上面這樣處理難免會有重名的文件被覆蓋，但參數 request 中沒有過多的信息，不便于對圖片分類，因此可以改為重載 item_completed 函數，在下載完成后對圖片進行分類操作。
函數 item_completed 的定義：
def item_completed(self, results, item, info)
參數中包含 item ，有我們抓取的所有信息，參數 results 為下載圖片的結果數組，包含下載后的路徑以及是否成功下載，內容如下：
[(True, {'checksum': '2b00042f7481c7b056c4b410d28f33cf', 'path': 'full/0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg', 'url': 'http://www.example.com/files/product1.pdf'}), (False, Failure(...))]重載該函數將下載圖片轉移到分類目錄中，同時關聯文件路徑到 item 中，保持內容與圖片為一個整體：
def item_completed(self, results, item, info): image_paths = {x['url'].split('/')[-1]: x['path'] for ok, x in results if ok} if not image_paths: # 下載失敗忽略該 Item 的后續處理 raise DropItem("Item contains no files") else: # 將圖片轉移至以 post_id 為名的子目錄中 for (dest, src) in image_paths.items(): dir = settings.IMAGES_STORE newdir = dir + os.path.dirname(src) + '/' + item['post_id'] + '/' if not os.path.exists(newdir): os.makedirs(newdir) os.rename(dir + src, newdir + dest) # 將保存路徑保存于 item 中（image_paths 需要在 items.py 中定義） item['image_paths'] = image_paths return item接下來在原 TuchongPipeline 類中寫入數據庫的操作中，通過 item['image_paths'] 路徑信息寫入本地圖片鏈接。
除了 ImagesPipeline 處理圖片外，還有 FilesPipeline 可以處理文件，使用方法與圖片類似，事實上 ImagesPipeline 是 FilesPipeline 的子類，因為圖片也是文件的一種。
新聞熱點
疑難解答
