前言
對于經(jīng)常寫爬蟲的大家都知道，有些頁面在登錄之前是被禁止抓取的，比如知乎的話題頁面就要求用戶登錄才能訪問，而 “登錄” 離不開 HTTP 中的 Cookie 技術(shù)。
登錄原理
Cookie 的原理非常簡單，因為 HTTP 是一種無狀態(tài)的協(xié)議，因此為了在無狀態(tài)的 HTTP 協(xié)議之上維護會話（session）狀態(tài)，讓服務(wù)器知道當前是和哪個客戶在打交道，Cookie 技術(shù)出現(xiàn)了 ，Cookie 相當于是服務(wù)端分配給客戶端的一個標識。
實戰(zhàn)應(yīng)用
用過知乎的都知道，只要提供用戶名和密碼以及驗證碼之后即可登錄。當然，這只是我們眼中看到的現(xiàn)象。而背后隱藏的技術(shù)細節(jié)就需要借助瀏覽器來挖掘了。現(xiàn)在我們就用 Chrome 來查看當我們填完表單后，究竟發(fā)生了什么？
（如果已經(jīng)登錄的，先退出）首先進入知乎的登錄頁面 https://www.zhihu.com/#signin ，打開 Chrome 的開發(fā)者工具條（按 F12）先嘗試輸入一個錯誤的驗證碼觀察瀏覽器是如何發(fā)送請求的。
從瀏覽器的請求可以發(fā)現(xiàn)幾個關(guān)鍵的信息
_xsrf 是什么？如果你對CSRF（跨站請求偽造）攻擊非常熟悉的話，那么你一定知道它的作用，xsrf是一串偽隨機數(shù)，它是用于防止跨站請求偽造的。它一般存在網(wǎng)頁的 form 表單標簽中，為了證實這一點，可以在頁面上搜索 “xsrf”，果然，_xsrf在一個隱藏的 input 標簽中
摸清了瀏覽器登錄時所需要的數(shù)據(jù)是如何獲取之后，那么現(xiàn)在就可以開始寫代碼用 Python 模擬瀏覽器來登錄了。登錄時所依賴的兩個第三方庫是 requests 和 BeautifulSoup，先安裝
pip install beautifulsoup4==4.5.3pip install requests==2.13.0
http.cookiejar 模塊可用于自動處理HTTP Cookie，LWPCookieJar 對象就是對 cookies 的封裝，它支持把 cookies 保存到文件以及從文件中加載。
而 session 對象 提供了 Cookie 的持久化，連接池功能，可以通過 session 對象發(fā)送請求
首先從cookies.txt 文件中加載 cookie信息，因為首次運行還沒有cookie，所有會出現(xiàn) LoadError 異常。
from http import cookiejarsession = requests.session()session.cookies = cookiejar.LWPCookieJar(filename='cookies.txt')try: session.cookies.load(ignore_discard=True)except LoadError: print("load cookies failed")獲取 xsrf
前面已經(jīng)找到了 xsrf 所在的標簽，，利用 BeatifulSoup 的 find 方法可以非常便捷的獲取該值
def get_xsrf(): response = session.get("https://www.zhihu.com", headers=headers) soup = BeautifulSoup(response.content, "html.parser") xsrf = soup.find('input', attrs={"name": "_xsrf"}).get("value") return xsrf獲取驗證碼
驗證碼是通過 /captcha.gif 接口返回的，這里我們把驗證碼圖片下載保存到當前目錄，由人工識別，當然你可以用第三方支持庫來自動識別，比如 pytesser。
def get_captcha(): """ 把驗證碼圖片保存到當前目錄，手動識別驗證碼 :return: """ t = str(int(time.time() * 1000)) captcha_url = 'https://www.zhihu.com/captcha.gif?r=' + t + "&type=login" r = session.get(captcha_url, headers=headers) with open('captcha.jpg', 'wb') as f: f.write(r.content) captcha = input("驗證碼：") return captcha登錄
一切參數(shù)準備就緒之后，就可以請求登錄接口了。
def login(email, password): login_url = 'https://www.zhihu.com/login/email' data = { 'email': email, 'password': password, '_xsrf': get_xsrf(), "captcha": get_captcha(), 'remember_me': 'true'} response = session.post(login_url, data=data, headers=headers) login_code = response.json() print(login_code['msg']) for i in session.cookies: print(i) session.cookies.save()請求成功后，session 會自動把 服務(wù)端的返回的cookie 信息填充到 session.cookies 對象中，下次請求時，客戶端就可以自動攜帶這些cookie去訪問那些需要登錄的頁面了。
auto_login.py 示例代碼
# encoding: utf-8# !/usr/bin/env python"""作者：liuzhijun"""import timefrom http import cookiejarimport requestsfrom bs4 import BeautifulSoupheaders = { "Host": "www.zhihu.com", "Referer": "https://www.zhihu.com/", 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87'}# 使用登錄cookie信息session = requests.session()session.cookies = cookiejar.LWPCookieJar(filename='cookies.txt')try: print(session.cookies) session.cookies.load(ignore_discard=True)except: print("還沒有cookie信息")def get_xsrf(): response = session.get("https://www.zhihu.com", headers=headers) soup = BeautifulSoup(response.content, "html.parser") xsrf = soup.find('input', attrs={"name": "_xsrf"}).get("value") return xsrfdef get_captcha(): """ 把驗證碼圖片保存到當前目錄，手動識別驗證碼 :return: """ t = str(int(time.time() * 1000)) captcha_url = 'https://www.zhihu.com/captcha.gif?r=' + t + "&type=login" r = session.get(captcha_url, headers=headers) with open('captcha.jpg', 'wb') as f: f.write(r.content) captcha = input("驗證碼：") return captchadef login(email, password): login_url = 'https://www.zhihu.com/login/email' data = { 'email': email, 'password': password, '_xsrf': get_xsrf(), "captcha": get_captcha(), 'remember_me': 'true'} response = session.post(login_url, data=data, headers=headers) login_code = response.json() print(login_code['msg']) for i in session.cookies: print(i) session.cookies.save()if __name__ == '__main__': email = "xxxx" password = "xxxxx" login(email, password)github源碼地址：https://github.com/lzjun567/crawler_html2pdf/blob/master/zhihu/auto_login.py
總結(jié)
以上就是關(guān)于Python爬蟲之模擬知乎登錄的全部內(nèi)容，希望本文的內(nèi)容對大家學習或者使用python能帶來一定的幫助，如果有疑問大家可以留言交流，謝謝大家對武林網(wǎng)的支持。
新聞熱點
疑難解答
圖片精選
