国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁(yè) > 學(xué)院 > 開(kāi)發(fā)設(shè)計(jì) > 正文

Python網(wǎng)頁(yè)爬蟲(chóng)

2019-11-14 16:59:09
字體:
來(lái)源:轉(zhuǎn)載
供稿:網(wǎng)友

解決問(wèn)題:獲取網(wǎng)頁(yè)上的內(nèi)容。特別是加載主框架后,再用Ajax獲取數(shù)據(jù)生成內(nèi)容的網(wǎng)頁(yè)。

PyQuery:可以像jQuery的py實(shí)現(xiàn)。你給他一個(gè)PyQuery一個(gè)HTML,他給你一個(gè)類(lèi)似jQuery的操作.只能獲取普通網(wǎng)頁(yè)。AJAX的網(wǎng)頁(yè)就無(wú)能為力。

Ghost.py:一個(gè)封裝Webkit(瀏覽器核心)的類(lèi)庫(kù)。就是模擬瀏覽器訪問(wèn)網(wǎng)頁(yè)。

安裝類(lèi)庫(kù)

pip install PyQuery

pip install PySide

pip install Ghost.py

from ghost import Ghostfrom pyquery import PyQuery as pq

 

g=Ghost()session=g.start()session.open('http://www.163.com' ,wait=None)session.wait_for_page_loaded()
doc=pq(session.content)

這樣 doc 就可以當(dāng)作$用了


發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 丰县| 鞍山市| 勐海县| 札达县| 大兴区| 罗山县| 寻乌县| 峨眉山市| 城口县| 大洼县| 东台市| 宁陵县| 思茅市| 古蔺县| 松滋市| 松阳县| SHOW| 溆浦县| 长白| 永新县| 班戈县| 汉沽区| 三门县| 嘉兴市| 开远市| 凭祥市| 当雄县| 精河县| 龙门县| 当阳市| 长岭县| 灵丘县| 莎车县| 隆安县| 大石桥市| 公主岭市| 久治县| 南雄市| 平潭县| 尉氏县| 丰县|