国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁(yè) > 編程 > Python > 正文

Python采集代理ip并判斷是否可用和定時(shí)更新的方法

2020-01-04 15:09:58
字體:
來(lái)源:轉(zhuǎn)載
供稿:網(wǎng)友

網(wǎng)上有很多免費(fèi)的ip地址,都是可以使用的,但是如果手動(dòng)來(lái)獲取太麻煩,這里通過(guò)Python自動(dòng)抓取,可以批量獲取。

代碼如下:

# -*- coding: utf-8 -*-import reimport urllib2import jsonimport osimport timeimport socketclass ProxyIp(object):  def __init__(self):    self.path = os.path.split(os.path.realpath(__file__))[0]  # Get latest proxy ip and download to json  def update_ip(self):    print 'Update Ip'    url = 'http://www.ip3366.net/free/'    req = urllib2.Request(url)    response = urllib2.urlopen(req)    matches = re.findall(      ur'(/d+./d+./d+./d+)</td>/s+<td>(/d+)</td>/s+<td>.*?</td>/s+<td>(HTTPS?)</td>',      response.read(),      re.I    )    ls = []    for match in matches:      if self.is_open(match[0], match[1]):        ls.append({'ip':match[0], 'port':match[1], 'protocol': match[2]})    with open('%s/ip.json' % self.path, 'w') as f:      json.dump(ls, f)    return ls  # whether the ips is last or old.  def is_last(self):    m_time = int(os.path.getmtime('%s/ip.json' % self.path))    now_time = int(time.time())    return (now_time - m_time) > 60*60*4 # 4 hours  @staticmethod  def is_open(ip, port):    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)    try:      s.connect(ip, int(port))      return True    except:      print 'Faild IP: %s:%s' % (ip, port)      return False  def get_proxy_ips(self):    if not self.is_last():      return self.update_ip()    else:      with open('%s/ip.json' % self.path, 'r') as f:        return json.load(f)

以上這篇Python采集代理ip并判斷是否可用和定時(shí)更新的方法就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持VEVB武林網(wǎng)。


注:相關(guān)教程知識(shí)閱讀請(qǐng)移步到python教程頻道。
發(fā)表評(píng)論 共有條評(píng)論
用戶(hù)名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 西丰县| 岳阳市| 娄底市| 临夏县| 密云县| 沧州市| 丰原市| 改则县| 怀柔区| 张家界市| 东丽区| 东台市| 赤水市| 三穗县| 隆德县| 交城县| 阳泉市| 扎兰屯市| 五常市| 呼伦贝尔市| 司法| 商水县| 岢岚县| 莫力| 巴马| 乐陵市| 太保市| 博爱县| 商丘市| 尖扎县| 会宁县| 永福县| 石阡县| 房产| 旅游| 临潭县| 达拉特旗| 丽江市| 喀喇沁旗| 德安县| 乐山市|