国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學(xué)院 > 開發(fā)設(shè)計(jì) > 正文

第一天定向爬蟲學(xué)習(xí)筆記

2019-11-08 18:51:51
字體:
供稿:網(wǎng)友

      python3的爬蟲庫與python2庫的區(qū)別較大,python3將urllib2和urllib直接合并成了一個庫——urllib,在其下面有四個模塊,分別為request,parse,error,robotparser模塊,在request之下的urlopen方法,方法原型如下:urlopen(url,data=none),這個方法返回的是一個response對象,其中參數(shù)url可以使一個request對象,也可以是一個字符串,該方法等價于:

res=urlib.request.Request(url)

response=urlli.request.urlopen(res)

再回過頭來說一下urlopen里面的data參數(shù),首先需要構(gòu)造一個字典,然后再用urllib.urlencode()進(jìn)行轉(zhuǎn)化為相應(yīng)的格式。

由于我的機(jī)器裝的是python2.7版本,所以需要將這個代碼進(jìn)行轉(zhuǎn)化,所以,我在網(wǎng)上查閱了一下相應(yīng)的對應(yīng)代碼:

Python 2 name

 Python 3 name
urllib.urlretrieve()urllib.request.urlretrieve()
urllib.urlcleanup()urllib.request.urlcleanup()
urllib.quote()urllib.parse.quote() 
urllib.quote_plus()urllib.parse.quote_plus()
urllib.unquote()urllib.parse.unquote()
urllib.unquote_plus()urllib.parse.unquote_plus()
urllib.urlencode()urllib.parse.urlencode()
urllib.pathname2url()urllib.request.pathname2url()
urllib.url2pathname()urllib.request.url2pathname()
urllib.getPRoxies()urllib.request.getproxies()
urllib.URLopenerurllib.request.URLopener 
urllib.FancyURLopenerurllib.request.FancyURLopener
urllib.ContentTooShortErrorurllib.error.ContentTooShortError
urllib2.urlopen()urllib.request.urlopen()
urllib2.install_opener()urllib.request.install_opener()
urllib2.build_opener()urllib.request.build_opener()
urllib2.URLErrorurllib.error.URLError
urllib2.HTTPErrorurllib.error.HTTPError
urllib2.Requesturllib.request.Request
urllib2.OpenerDirectorurllib.request.OpenerDirector
urllib2.BaseHandlerurllib.request.BaseHandler
urllib2.HTTPDefaultErrorHandlerurllib.request.HTTPDefaultErrorHandler
urllib2.HTTPRedirectHandlerurllib.request.HTTPRedirectHandler
urllib2.HTTPCookieProcessorurllib.request.HTTPCookieProcessor
urllib2.ProxyHandlerurllib.request.ProxyHandler
urllib2.HTTPPassWordMgrurllib.request.HTTPPasswordMgr
urllib2.HTTPPasswordMgrWithDefaultRealmurllib.request.HTTPPasswordMgrWithDefaultRealm
urllib2.AbstractBasicAuthHandlerurllib.request.AbstractBasicAuthHandler
urllib2.HTTPBasicAuthHandlerurllib.request.HTTPBasicAuthHandler
urllib2.ProxyBasicAuthHandlerurllib.request.ProxyBasicAuthHandler
urllib2.AbstractDigestAuthHandlerurllib.request.AbstractDigestAuthHandler
urllib2.HTTPDigestAuthHandlerurllib.request.HTTPDigestAuthHandler
urllib2.ProxyDigestAuthHandlerurllib.request.ProxyDigestAuthHandler
urllib2.HTTPHandlerurllib.request.HTTPHandler
urllib2.HTTPSHandlerurllib.request.HTTPSHandler
urllib2.FileHandlerurllib.request.FileHandler
urllib2.FTPHandlerurllib.request.FTPHandler
urllib2.CacheFTPHandlerurllib.request.CacheFTPHandler 
urllib2.UnknownHandlerurllib.request.UnknownHandler


發(fā)表評論 共有條評論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 梁山县| 突泉县| 延吉市| 抚远县| 东城区| 德惠市| 图们市| 秭归县| 栾城县| 宜丰县| 来安县| 韶关市| 南昌市| 青阳县| 贵溪市| 乐清市| 固阳县| 布拖县| 和平县| 庆云县| 安国市| 柳江县| 富裕县| 库车县| 遂昌县| 黔南| 济南市| 綦江县| 施甸县| 班玛县| 铁力市| 丰原市| 济源市| 建水县| 乐陵市| 霍邱县| 西平县| 历史| 宿州市| 潜江市| 灵台县|