解決問(wèn)題:獲取網(wǎng)頁(yè)上的內(nèi)容。特別是加載主框架后,再用Ajax獲取數(shù)據(jù)生成內(nèi)容的網(wǎng)頁(yè)。
PyQuery:可以像jQuery的py實(shí)現(xiàn)。你給他一個(gè)PyQuery一個(gè)HTML,他給你一個(gè)類(lèi)似jQuery的操作.只能獲取普通網(wǎng)頁(yè)。AJAX的網(wǎng)頁(yè)就無(wú)能為力。
Ghost.py:一個(gè)封裝Webkit(瀏覽器核心)的類(lèi)庫(kù)。就是模擬瀏覽器訪問(wèn)網(wǎng)頁(yè)。
安裝類(lèi)庫(kù)
pip install PyQuery
pip install PySide
pip install Ghost.py
from ghost import Ghostfrom pyquery import PyQuery as pq
g=Ghost()session=g.start()session.open('http://www.163.com' ,wait=None)session.wait_for_page_loaded()
doc=pq(session.content)這樣 doc 就可以當(dāng)作$用了
新聞熱點(diǎn)
疑難解答
圖片精選
網(wǎng)友關(guān)注