Linux Shell中curl和wget使用代理IP的方法教程

2020-07-27 18:52:24

字體：大中小

供稿：網(wǎng)友

前言

大家都知道，在Linux Shell中提供兩個(gè)非常實(shí)用的命令來(lái)爬取網(wǎng)頁(yè)，它們分別是 curl 和 wget，本文將給大家詳細(xì)介紹關(guān)于在Linux Shell中curl和wget使用代理IP的相關(guān)內(nèi)容，分享出來(lái)供大家參考學(xué)習(xí)，下面話(huà)不多說(shuō)了，來(lái)一起看看吧。

curl 和 wget 使用代理

curl 支持 http、https、socks4、socks5
wget 支持 http、https

代理示例：

#!/bin/bash## curl 支持 http、https、socks4、socks5# wget 支持 http、https## 米撲代理示例：# http://proxy.mimvp.com/demo2.php## 米撲代理購(gòu)買(mǎi)：# http://proxy.mimvp.com## mimvp.com# 2015-11-09  # http代理格式   http_proxy=http://IP:Port# https代理格式   https_proxy=http://IP:Port {'http': 'http://120.77.176.179:8888'}curl -m 30 --retry 3 -x http://120.77.176.179:8888 http://proxy.mimvp.com/exist.php     # http_proxywget -T 30 --tries 3 -e "http_proxy=http://120.77.176.179:8888" http://proxy.mimvp.com/exist.php   # http_proxy {'https': 'http://46.105.214.133:3128'}curl -m 30 --retry 3 --proxy-insecure -x http://46.105.214.133:3128 -k https://proxy.mimvp.com/exist.php     # https_proxywget -T 30 --tries 3 --no-check-certificate -e "https_proxy=http://46.105.214.133:3128" https://proxy.mimvp.com/exist.php # https_proxy   # curl 支持socks{'socks4': '101.255.17.145:1080'}curl -m 30 --retry 3 --socks4 101.255.17.145:1080 http://proxy.mimvp.com/exist.php  {'socks5': '82.164.233.227:45454'}curl -m 30 --retry 3 --socks5 82.164.233.227:45454 http://proxy.mimvp.com/exist.php  # wget 不支持socks

wget 配置文件設(shè)置代理

vim ~/.wgetrc http_proxy=http://120.77.176.179:8888:8080https_proxy=http://12.7.17.17:8888:8080use_proxy = onwait = 30 wget -T 30 --tries 3 http://proxy.mimvp.com

Shell 設(shè)置臨時(shí)局部代理

# proxy no authexport http_proxy=http://120.77.176.179:8888:8080export https_proxy=http://12.7.17.17:8888:8080 # proxy authexport http_proxy=http://username:password@120.77.176.179:8888:8080export https_proxy=http://username:password@12.7.17.17:8888:8080  # 取消設(shè)置unset http_proxyunset https_proxy

Shell 設(shè)置系統(tǒng)全局代理

# 修改 /etc/profile，保存并重啟服務(wù)器sudo vim /etc/profile  # 所有人有效或sudo vim ~/.bashrc  # 所有人有效或vim ~/.bash_profile  # 個(gè)人有效    # proxy no authexport http_proxy=http://120.77.176.179:8888:8080export https_proxy=http://12.7.17.17:8888:8080 # proxy authexport http_proxy=http://username:password@120.77.176.179:8888:8080export https_proxy=http://username:password@12.7.17.17:8888:8080 source /etc/profile或source ~/.bashrc或source ~/.bash_profile  sudo reboot

米撲代理示例

米撲代理示例，包含Python、Java、PHP、C#、Go、Perl、Ruby、Shell、NodeJS、PhantomJS、Groovy、Delphi、易語(yǔ)言等十多種編程語(yǔ)言或腳本，通過(guò)大量的可運(yùn)行實(shí)例，詳細(xì)講解了使用代理IP的正確方法，方便網(wǎng)頁(yè)爬取、數(shù)據(jù)采集、自動(dòng)化測(cè)試等領(lǐng)域。