本文實(shí)例講述了python中urllib模塊用法。分享給大家供大家參考。具體分析如下:
一、問(wèn)題:
近期公司項(xiàng)目的需求是根據(jù)客戶(hù)提供的api,我們定時(shí)去獲取數(shù)據(jù), 之前的方案是用php收集任務(wù)存入到redis隊(duì)列,然后在linux下做一個(gè)常駐進(jìn)程跑某一個(gè)php文件, 該php文件就一個(gè)無(wú)限循環(huán),判斷redis隊(duì)列,有就執(zhí)行,沒(méi)有就break.
二、解決方法:
最近剛好學(xué)了一下python, python的urllib模塊或許比php的curl更快,而且簡(jiǎn)單. 貼一下代碼
class Hi_login:
def __init__(self):
cookie = cookielib.CookieJar()
self.cookie = urllib2.HTTPCookieProcessor(cookie) ##### 生成cookie ###
def login(self,user,pwd):
url='http://passport.baidu.com/?login'
postdata=urllib.urlencode({
'mem_pass':'on',
'password':pwd
'Submit':'',
'tpl':'sp',
'tp_reg':'sp',
'u' :'http://hi.baidu.com',
'username':user})
### proxy_support = urllib2.ProxyHandler({"http":"http://ahad-haam:3128"}) 然后加入opener方法里####
opener = urllib2.build_opener(self.cookie) ### 使用cookie ###
headers = { ####### dict結(jié)構(gòu),可以加入x-forward-for甚至refer等 #######
'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
urllib2.install_opener(opener)
request = urllib2.Request(url,urllib.urlencode(postdata),headers = headers)
urllib2.urlopen(request)
if __name__=='__main__':
pwd='123456'
user='xiaofu'
test=Hi_login()
test.login(user,pwd)
希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。
新聞熱點(diǎn)
疑難解答
圖片精選
網(wǎng)友關(guān)注