本文實例講述了Python獲取當前頁面內所有鏈接的四種方法。分享給大家供大家參考，具體如下：
'''得到當前頁面所有連接'''import requestsimport refrom bs4 import BeautifulSoupfrom lxml import etreefrom selenium import webdriverurl = 'http://www.testweb.com'r = requests.get(url)r.encoding = 'gb2312'# 利用 re （太黃太暴力！）matchs = re.findall(r"(?<=href=/").+?(?=/")|(?<=href=/').+?(?=/')" , r.text)for link in matchs: print(link)print()# 利用 BeautifulSoup4 （DOM樹）soup = BeautifulSoup(r.text,'lxml')for a in soup.find_all('a'): link = a['href'] print(link)print()# 利用 lxml.etree （XPath）tree = etree.HTML(r.text)for link in tree.xpath("http://@href"): print(link)print()# 利用selenium（要開瀏覽器！）driver = webdriver.Firefox()driver.get(url)for link in driver.find_elements_by_tag_name("a"): print(link.get_attribute("href"))driver.close()注意：若頁面中含有 iframe，則 iframe 內所包含頁面的所有標簽都無法用以上四種方法獲得！！！此時則要：
# 再打開所有iframe查找全部的a標簽for iframe in soup.find_all('iframe'): url_ifr = iframe['src'] # 取得當前iframe的src屬性值 rr = requests.get(url_ifr) rr.encoding = 'gb2312' soup_ifr = BeautifulSoup(rr.text,'lxml') for a in soup_ifr.find_all('a'): link = a['href'] m = re.match(r'http:////.*?(?=//)',link) #print(link) if m: all_urls.add(m.group(0))PS：這里再為大家提供2款非常方便的正則表達式工具供大家參考使用：
JavaScript正則表達式在線測試工具：
http://tools.VeVB.COm/regex/javascript
正則表達式在線生成工具：
http://tools.VeVB.COm/regex/create_reg
更多關于Python相關內容可查看本站專題：《Python正則表達式用法總結》、《Python數(shù)據(jù)結構與算法教程》、《Python函數(shù)使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
新聞熱點
疑難解答
圖片精選
