国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 開發(fā) > Python > 正文

Python 爬蟲相關(guān)問題

2024-07-21 02:52:00
字體:
供稿:網(wǎng)友

1.爬蟲需要導(dǎo)入的幾個(gè)模塊

from selenium import webdriverfrom selenium.common.exceptions import TimeoutExceptionfrom selenium.webdriver.support.ui import WebDriverWait # available since 2.4.0from selenium.webdriver.common.keys import Keysimport timeimport osimport sysimport loggingimport httplibimport urllibimport pickleimport reimport urllib2
一般情況下,寫一個(gè)普通的爬蟲,以上模塊就足夠了.

2.常用操作解釋

模仿用戶鼠標(biāo)滑動(dòng)滾動(dòng)屏幕事件 driver.find_element_by_tag_name("body").send_keys(Keys.PAGE_DOWN)設(shè)置頁面加載超時(shí) driver.set_page_load_timeout(15)當(dāng)頁面加載完以后,停止瀏覽器繼續(xù)加載 driver.execute_script('window.stop()')打開瀏覽器并加載一個(gè)網(wǎng)頁地址 driver.get(url)關(guān)閉瀏覽器 driver.quit()設(shè)置瀏覽器 driver = webdriver.Firefox()延時(shí)操作 time.sleep(5)對(duì)字典型數(shù)據(jù)進(jìn)行編碼 urllib.urlencode(dic)向服務(wù)器傳數(shù)據(jù) urllib2.urlopen(u)瀏覽器最大化 driver.maximize_window() #瀏覽器最大化

3.尋找節(jié)點(diǎn)常用的方法

獲取單個(gè)對(duì)象 driver.find_element_by_class_name driver.find_element_by_xpath driver.find_element_by_id

xpath 語法的種類比較繁多,大概有兩種:driver.find_element_by_xpath('./a[2]/span')dirver.find_element_by_xpath('./*[1]')
'./a[2]/span' 取出子元素中標(biāo)簽是a 的第二標(biāo)簽下面的span 標(biāo)簽
./*[1]取出當(dāng)前元素的第一個(gè)子元素

獲取多個(gè)對(duì)象 driver.find_elements_by_class_name driver.find_elements_by_xpath driver.find_elements_by_id

獲取對(duì)象的屬性或者內(nèi)容 node.get_attribute('src') node.text


更多詳情請(qǐng)看http://itindex.net/detail/55758-python-selenium-元素

發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 林州市| 聊城市| 土默特右旗| 平原县| 明水县| 丹阳市| 汉中市| 久治县| 小金县| 普定县| 乌拉特中旗| 田阳县| 乐都县| 孟连| 舟曲县| 泾源县| 青川县| 贵德县| 建阳市| 古浪县| 合山市| 阳高县| 绩溪县| 海门市| 彭山县| 黄山市| 烟台市| 阳谷县| 建阳市| 大连市| 延吉市| 绥芬河市| 临汾市| 革吉县| 乐山市| 萨嘎县| 禄丰县| 乐平市| 府谷县| 大田县| 江山市|