之前一篇文章我們學(xué)習(xí)了爬蟲(chóng)的異常處理問(wèn)題，那么接下來(lái)我們一起來(lái)看一下Cookie的使用。

為什么要使用Cookie呢？

Cookie，指某些網(wǎng)站為了辨別用戶(hù)身份、進(jìn)行session跟蹤而儲(chǔ)存在用戶(hù)本地終端上的數(shù)據(jù)（通常經(jīng)過(guò)加密）

比如說(shuō)有些網(wǎng)站需要登錄后才能訪問(wèn)某個(gè)頁(yè)面，在登錄之前，你想抓取某個(gè)頁(yè)面內(nèi)容是不允許的。那么我們可以利用Urllib2庫(kù)保存我們登錄的Cookie，然后再抓取其他頁(yè)面就達(dá)到目的了。

在此之前呢，我們必須先介紹一個(gè)opener的概念。

1.Opener

當(dāng)你獲取一個(gè)URL你使用一個(gè)opener(一個(gè)urllib2.OpenerDirector的實(shí)例)。在前面，我們都是使用的默認(rèn)的opener，也就是urlopen。它是一個(gè)特殊的opener，可以理解成opener的一個(gè)特殊實(shí)例，傳入的參數(shù)僅僅是url，data，timeout。

如果我們需要用到Cookie，只用這個(gè)opener是不能達(dá)到目的的，所以我們需要?jiǎng)?chuàng)建更一般的opener來(lái)實(shí)現(xiàn)對(duì)Cookie的設(shè)置。

2.Cookielib

cookielib模塊的主要作用是提供可存儲(chǔ)cookie的對(duì)象，以便于與urllib2模塊配合使用來(lái)訪問(wèn)Internet資源。Cookielib模塊非常強(qiáng)大，我們可以利用本模塊的CookieJar類(lèi)的對(duì)象來(lái)捕獲cookie并在后續(xù)連接請(qǐng)求時(shí)重新發(fā)送，比如可以實(shí)現(xiàn)模擬登錄功能。該模塊主要的對(duì)象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

它們的關(guān)系：CookieJar ―-派生―->FileCookieJar  ―-派生―