0x00 前言

大家對HTTP代理應該都非常熟悉，它在很多方面都有著極為廣泛的應用。HTTP代理分為正向代理和反向代理兩種，后者一般用于將防火墻后面的服務提供給用戶訪問或者進行負載均衡，典型的有Nginx、HAProxy等。本文所討論的是正向代理。

HTTP代理最常見的用途是用于網絡共享、網絡加速和網絡限制突破等。此外，HTTP代理也常用于Web應用調試、Android/IOS APP 中所調用的Web API監控和分析，目前的知名軟件有Fiddler、Charles、Burp Suite和mitmproxy等。HTTP代理還可用于請求/響應內容修改，在不改變服務端的情況下為Web應用增加額外的功能或者改變應用行為等。

0x01 HTTP代理是什么

HTTP代理本質上是一個Web應用，它和其他普通Web應用沒有根本區別。HTTP代理收到請求后，根據Header中Host字段的主機名和Get/POST請求地址綜合判斷目標主機，建立新的HTTP請求并轉發請求數據，并將收到的響應數據轉發給客戶端。

如果請求地址是絕對地址，HTTP代理采用該地址中的Host，否則使用Header中的HOST字段。做一個簡單測試，假設網絡環境如下：

192.168.1.2 Web服務器192.168.1.3 HTTP代理服務器

使用telnet進行測試

$ telnet 192.168.1.3GET / HTTP/1.0HOST: 192.168.1.2

注意最后需要連續兩個回車，這是HTTP協議要求。完成后，可以收到 http://192.168.1.2/ 的頁面內容。下面做一下調整，GET請求時帶上絕對地址

$ telnet 192.168.1.3GET http://httpbin.org/ip HTTP/1.0HOST: 192.168.1.2

注意這里同樣設置了HOST為192.168.1.2，但運行結果卻返回了 http://httpbin.org/ip 頁面的內容，也就是公網IP地址信息。

從上面的測試過程可以看出，HTTP代理并不是什么很復雜的東西，只要將原始請求發送到代理服務器即可。在無法設置HTTP代理的情況下，對于少量Host需要走HTTP代理的場景來說，最簡單的方式就是將目標Host域名的IP指向代理服務器，可以采取修改hosts文件的方式來實現。

0x02 Python程序中設置HTTP代理

urllib2/urllib 代理設置

urllib2是Python標準庫，功能很強大，只是使用起來稍微麻煩一點。在Python 3中，urllib2不再保留，遷移到了urllib模塊中。urllib2中通過ProxyHandler來設置使用代理服務器。

proxy_handler = urllib2.ProxyHandler({'http': '121.193.143.249:80'})opener = urllib2.build_opener(proxy_handler)r = opener.open('http://httpbin.org/ip')print(r.read())

也可以用install_opener將配置好的opener安裝到全局環境中，這樣所有的urllib2.urlopen都會自動使用代理。

urllib2.install_opener(opener)r = urllib2.urlopen('http://httpbin.org/ip')print(r.read())