国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python實現抓取頁面上鏈接的簡單爬蟲分享

2019-11-25 18:01:42
字體:
來源:轉載
供稿:網友

除了C/C++以外,我也接觸過不少流行的語言,PHP、java、javascript、python,其中python可以說是操作起來最方便,缺點最少的語言了。

前幾天想寫爬蟲,后來跟朋友商量了一下,決定過幾天再一起寫。爬蟲里重要的一部分是抓取頁面中的鏈接,我在這里簡單的實現一下。

首先我們需要用到一個開源的模塊,requests。這不是python自帶的模塊,需要從網上下載、解壓與安裝:

復制代碼 代碼如下:

windows用戶直接點擊下載。解壓后再本地使用命令python setup.py install安裝即可。 https://github.com/kennethreitz/requests/zipball/master

這個模塊的文檔我也正在慢慢翻譯,翻譯完了就給大家傳上來(英文版先發在附件里)。就像它的說明里面說的那樣,built for human beings,為人類而設計。使用它很方便,自己看文檔。最簡單的,requests.get()就是發送一個get請求。

代碼如下:

復制代碼 代碼如下:

# coding:utf-8
import re
import requests

# 獲取網頁內容
r = requests.get('http://www.163.com')
data = r.text

# 利用正則查找所有連接
link_list =re.findall(r"(?<=href=/").+?(?=/")|(?<=href=/').+?(?=/')" ,data)
for url in link_list:
    print url

首先import進re和requests模塊,re模塊是使用正則表達式的模塊。

data = requests.get('http://www.163.com'),向網易首頁提交get請求,得到一個requests對象r,r.text就是獲得的網頁源代碼,保存在字符串data中。

再利用正則查找data中所有的鏈接,我的正則寫的比較粗糙,直接把href=""或href=''之間的信息獲取到,這就是我們要的鏈接信息。

re.findall返回的是一個列表,用for循環遍歷列表并輸出:

這是我獲取到的所有連接的一部分。

上面是獲取網站里所有鏈接的一個簡單的實現,沒有處理任何異常,沒有考慮到超鏈接的類型,代碼僅供參考。requests模塊文檔見附件。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 沁阳市| 得荣县| 屏东县| 五台县| 谷城县| 武平县| 类乌齐县| 叙永县| 兴山县| 双江| 太和县| 武汉市| 瑞金市| 九江市| 郯城县| 武威市| 东兴市| 新建县| 桐梓县| 浮梁县| 陇川县| 德州市| 临湘市| 高台县| 军事| 饶河县| 莲花县| 通榆县| 民和| 贡嘎县| 高阳县| 同仁县| 白玉县| 开封县| 沙田区| 扶风县| 阿拉善右旗| 辽宁省| 寻乌县| 赤峰市| 文成县|