本文實例講述了Python3爬蟲學習之將爬取的信息保存到本地的方法。分享給大家供大家參考，具體如下：

將爬取的信息存儲到本地

之前我們都是將爬取的數據直接打印到了控制臺上，這樣顯然不利于我們對數據的分析利用，也不利于保存，所以現在就來看一下如何將爬取的數據存儲到本地硬盤。

1 對.txt文件的操作

讀寫文件是最常見的操作之一，python3 內置了讀寫文件的函數：open

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None))
Open file and return a corresponding  file object. If the file cannot be opened, an OSError
 is raised.

其中比較常用的參數為file和mode，參數file為文件的路徑，參數mode為操作文件的方式（讀/寫），函數的返回值為一個file對象，如果文件操作出現異常的話，則會拋出 一個OSError

還以簡書首頁文章題目為例，將爬取到的文章標題存放到一個.txt文件中，具體代碼如下：

# -*- coding:utf-8 -*-from urllib import requestfrom bs4 import BeautifulSoupurl = r'http://www.jianshu.com'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}page = request.Request(url, headers=headers)page_info = request.urlopen(page).read().decode('utf-8')soup = BeautifulSoup(page_info, 'html.parser')titles = soup.find_all('a', 'title')try:  # 在E盤以只寫的方式打開/創建一個名為 titles 的txt文件  file = open(r'E:/titles.txt', 'w')  for title in titles:  # 將爬去到的文章題目寫入txt中    file.write(title.string + '/n')finally:  if file:    # 關閉文件（很重要）    file.close()

open中mode參數的含義見下表：

其中't'為默認模式，'r'相當于'rt',符號可以疊加使用，像'r+b'

另外，對文件操作一定要注意的一點是：打開的文件一定要關閉，否則會占用相當大的系統資源，所以對文件的操作最好使用try:...finally:...的形式。但是try:...finally:...的形式會使代碼顯得比較雜亂，所幸python中的with語句可以幫我們自動調用close（）而不需要我們寫出來，所以，上面代碼中的try:...finally:...可使用下面的with語句來代替：

with open(r'E:/title.txt', 'w') as file:  for title in titles:    file.write(title.string + '/n')

效果是一樣的，建議使用with語句

2 圖片的儲存

有時候我們的爬蟲不一定只是爬取文本數據，也會爬取一些圖片，下面就來看怎么將爬取的圖片存到本地磁盤。

我們先來選好目標，知乎話題：女生怎么健身鍛造好身材？ (單純因為圖多，不要多想哦 （# _ # ) ）

看下頁面的源代碼，找到話題下圖片鏈接的格式，如圖：

可以看到，圖片在img標簽中，且class=origin_image zh-lightbox-thumb，而且鏈接是由.jpg結尾，我們便可以用Beautiful Soup結合正則表達式的方式來提取所有鏈接，如下:

links = soup.find_all('img', "origin_image zh-lightbox-thumb",src=re.compile(r'.jpg$'))

提取出所有鏈接后，使用request.urlretrieve來將所有鏈接保存到本地

Copy a network object denoted by a URL to a local file. If the URL points to a local file, the object will not be copied unless filename is supplied. Return a tuple (filename, headers)
where filename is the local file name under which the object can be found, and headers is whatever the info()
method of the object returned by urlopen()
 returned (for a remote object). Exceptions are the same as for urlopen()
.

具體實現代碼如下：

# -*- coding:utf-8 -*-import timefrom urllib import requestfrom bs4 import BeautifulSoupimport reurl = r'https://www.zhihu.com/question/22918070'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}page = request.Request(url, headers=headers)page_info = request.urlopen(page).read().decode('utf-8')soup = BeautifulSoup(page_info, 'html.parser')# Beautiful Soup和正則表達式結合，提取出所有圖片的鏈接（img標簽中，class=**，以.jpg結尾的鏈接）links = soup.find_all('img', "origin_image zh-lightbox-thumb",src=re.compile(r'.jpg$'))# 設置保存的路徑，否則會保存到程序當前路徑local_path = r'E:/Pic'for link in links:  print(link.attrs['src'])  # 保存鏈接并命名，time防止命名沖突  request.urlretrieve(link.attrs['src'], local_path+r'/%s.jpg' % time.time())

運行結果

PS：希望大家進行圖片爬取的時候，盡量不要將爬下來圖片作為商用，特別是攝影作品，都是具有版權的，嗯。。。還有就是注意營養哦~~~

希望本文所述對大家Python程序設計有所幫助。