Python 爬蟲圖片簡單實現
經常在逛知乎，有時候希望把一些問題的圖片集中保存起來。于是就有了這個程序。這是一個非常簡單的圖片爬蟲程序，只能爬取已經刷出來的部分的圖片。由于對這一部分內容不太熟悉，所以只是簡單說幾句然后記錄代碼，不做過多的講解。感興趣的可以直接拿去用。親測對于知乎等網站是可用的。
上一篇分享了通過url打開圖片的方法，目的就是先看看爬取到的圖片時什么樣，然后再篩選一下保存。
這里用到了requests庫來獲取頁面信息，需要注意的是，獲取頁面信息的時候需要一個header，用以把程序偽裝成瀏覽器去訪問服務器，不然可能會被服務器拒絕。然后用BeautifulSoup來過濾多余信息得到圖片地址。得到圖片后，根據圖片的大小過濾掉一些頭像、表情包之類的小圖片。最后打開或者保存圖片的時候選擇就比較多了，OpenCV，skimage，PIL等都可以。
程序如下：
# -*- coding=utf-8 -*-import requests as reqfrom bs4 import BeautifulSoupfrom PIL import Imagefrom io import BytesIOimport osfrom skimage import iourl = "https://www.zhihu.com/question/37787176"headers = {'User-Agent' : 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.96 Mobile Safari/537.36'}response = req.get(url,headers=headers)content = str(response.content)#print contentsoup = BeautifulSoup(content,'lxml')images = soup.find_all('img')print u"共有%d張圖片" % len(images)if not os.path.exists("images"): os.mkdir("images")for i in range(len(images)): img = images[i] print u"正在處理第%d張圖片..." % (i+1) img_src = img.get('src') if img_src.startswith("http"): ## use PIL ''' print img_src response = req.get(img_src,headers=headers) image = Image.open(BytesIO(response.content)) w,h = image.size print w,h img_path = "images/" + str(i+1) + ".jpg" if w>=500 and h>500: #image.show() image.save(img_path) ''' ## use OpenCV import numpy as np import urllib import cv2 resp = urllib.urlopen(img_src) image = np.asarray(bytearray(resp.read()), dtype="uint8") image = cv2.imdecode(image, cv2.IMREAD_COLOR) w,h = image.shape[:2] print w,h img_path = "images/" + str(i+1) + ".jpg" if w>=400 and h>400: cv2.imshow("Image", image) cv2.waitKey(3000) ##cv2.imwrite(img_path,image) ## use skimage ## image = io.imread(img_src) ## w,h = image.shape[:2] ## print w,h #io.imshow(image) #io.show() ## img_path = "images/" + str(i+1) + ".jpg" ## if w>=500 and h>500: ## image.show() ## image.save(img_path) ## io.imsave(img_path,image)print u"處理完成！"這里給出了多種選擇，供參考。
新聞熱點
疑難解答
