国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python爬蟲獲取新浪新聞教學

2020-01-04 13:44:08
字體:
來源:轉載
供稿:網友

一提到python,大家經常會提到爬蟲,爬蟲近來興起的原因我覺得主要還是因為大數據的原因,大數據導致了我們的數據不在只存在于自己的服務器,而python語言的簡便也成了爬蟲工具的首要語言,我們這篇文章來講下爬蟲,爬取新浪新聞

1、

 
大家知道,爬蟲實際上就是模擬瀏覽器請求,然后把請求到的數據,經過我們的分析,提取出我們想要的內容,這也就是爬蟲的實現
 
大家知道,爬蟲實際上就是模擬瀏覽器請求,然后把請求到的數據,經過我們的分析,提取出我們想要的內容,這也就是爬蟲的實現

 

2、首先,我們要寫爬蟲,可以借鑒一些工具,我們先從簡單的入門,首先說到請求,我們就會想到python中,非常好用的requests,然后說到分析解析就會用到bs4,然后我們可以直接用pip命令來實現安裝,假如安裝的是python3,也可以用pip3

python,爬蟲,新浪新聞

3、安裝好這兩個類庫之后,然后我們就可以先請求數據,查看下新聞的內容,這個時候我們有可能看到的是亂碼

python,爬蟲,新浪新聞

4、怎么處理亂碼呢?我們可以拿瀏覽器打開網頁,右鍵查看網頁源代碼,我們可以看到編碼格式為utf-8

python,爬蟲,新浪新聞

python,爬蟲,新浪新聞

5、然后我們在輸出的時候添加編碼格式,就可以查看到正確編碼的數據了

python,爬蟲,新浪新聞

6、拿到數據之后,我們需要先分析數據,看我們想要的數據在哪里,我們打開瀏覽器,右鍵審查,然后按示例圖操作,就可以看到我們新聞所在的標簽,假如是windows系統,選擇開發中工具里面一樣

python,爬蟲,新浪新聞

python,爬蟲,新浪新聞

7、我們知道屬于哪個標簽之后,就是用bs4來解析拿到我們想要的數據了

python,爬蟲,新浪新聞

8、我們想要拿到新聞的具體標題,時間,地址,就需要我們在對元素進行深入的解析,我們還是按之前的方法,找到標題所在的標簽

python,爬蟲,新浪新聞

9、然后我們編寫標題時間地址的python程序,就可以爬取出對應的標題內容,時間和地址

python,爬蟲,新浪新聞

10、

 
簡單的python爬取新聞就講到這里啦

 

 

 
 總結:以上就是關于Python爬蟲獲取新浪新聞內容的步驟,感謝大家的的閱讀和對VEVB武林網的支持。
注:相關教程知識閱讀請移步到python教程頻道。
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 行唐县| 丁青县| 涞源县| 鄂托克旗| 铁岭县| 邵东县| 瑞昌市| 辽阳县| 柯坪县| 泰宁县| 瓦房店市| 洛阳市| 班戈县| 临沧市| 日喀则市| 富源县| 呼图壁县| 安康市| 景宁| 城口县| 平阴县| 团风县| 囊谦县| 栾城县| 南木林县| 通榆县| 无极县| 金寨县| 呼和浩特市| 子长县| 阿克苏市| 秦皇岛市| 镇远县| 安泽县| 三穗县| 靖宇县| 邳州市| 丹寨县| 荔波县| 汪清县| 阿勒泰市|