国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁(yè) > 編程 > Python > 正文

Python爬蟲(chóng)爬取新浪微博內(nèi)容示例【基于代理IP】

2020-01-04 14:52:49
字體:
來(lái)源:轉(zhuǎn)載
供稿:網(wǎng)友

本文實(shí)例講述了Python爬蟲(chóng)爬取新浪微博內(nèi)容。分享給大家供大家參考,具體如下:

用Python編寫爬蟲(chóng),爬取微博大V的微博內(nèi)容,本文以女神的微博為例(爬新浪m站:https://m.weibo.cn/u/1259110474

一般做爬蟲(chóng)爬取網(wǎng)站,首選的都是m站,其次是wap站,最后考慮PC站。當(dāng)然,這不是絕對(duì)的,有的時(shí)候PC站的信息最全,而你又恰好需要全部的信息,那么PC站是你的首選。一般m站都以m開(kāi)頭后接域名, 所以本文開(kāi)搞的網(wǎng)址就是 m.weibo.cn。

前期準(zhǔn)備

1.代理IP

網(wǎng)上有很多免費(fèi)代理ip,如西刺免費(fèi)代理IPhttp://www.xicidaili.com/,自己可找一個(gè)可以使用的進(jìn)行測(cè)試;

2.抓包分析

通過(guò)抓包獲取微博內(nèi)容地址,這里不再細(xì)說(shuō),不明白的小伙伴可以自行百度查找相關(guān)資料,下面直接上完整的代碼

完整代碼:

# -*- coding: utf-8 -*-import urllib.requestimport json#定義要爬取的微博大V的微博IDid='1259110474'#設(shè)置代理IPproxy_addr="122.241.72.191:808"#定義頁(yè)面打開(kāi)函數(shù)def use_proxy(url,proxy_addr):  req=urllib.request.Request(url)  req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")  proxy=urllib.request.ProxyHandler({'http':proxy_addr})  opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler)  urllib.request.install_opener(opener)  data=urllib.request.urlopen(req).read().decode('utf-8','ignore')  return data#獲取微博主頁(yè)的containerid,爬取微博內(nèi)容時(shí)需要此iddef get_containerid(url):  data=use_proxy(url,proxy_addr)  content=json.loads(data).get('data')  for data in content.get('tabsInfo').get('tabs'):    if(data.get('tab_type')=='weibo'):      containerid=data.get('containerid')  return containerid#獲取微博大V賬號(hào)的用戶基本信息,如:微博昵稱、微博地址、微博頭像、關(guān)注人數(shù)、粉絲數(shù)、性別、等級(jí)等def get_userInfo(id):  url='https://m.weibo.cn/api/container/getIndex?type=uid&value='+id  data=use_proxy(url,proxy_addr)  content=json.loads(data).get('data')  profile_image_url=content.get('userInfo').get('profile_image_url')  description=content.get('userInfo').get('description')  profile_url=content.get('userInfo').get('profile_url')  verified=content.get('userInfo').get('verified')  guanzhu=content.get('userInfo').get('follow_count')  name=content.get('userInfo').get('screen_name')  fensi=content.get('userInfo').get('followers_count')  gender=content.get('userInfo').get('gender')  urank=content.get('userInfo').get('urank')  print("微博昵稱:"+name+"/n"+"微博主頁(yè)地址:"+profile_url+"/n"+"微博頭像地址:"+profile_image_url+"/n"+"是否認(rèn)證:"+str(verified)+"/n"+"微博說(shuō)明:"+description+"/n"+"關(guān)注人數(shù):"+str(guanzhu)+"/n"+"粉絲數(shù):"+str(fensi)+"/n"+"性別:"+gender+"/n"+"微博等級(jí):"+str(urank)+"/n")#獲取微博內(nèi)容信息,并保存到文本中,內(nèi)容包括:每條微博的內(nèi)容、微博詳情頁(yè)面地址、點(diǎn)贊數(shù)、評(píng)論數(shù)、轉(zhuǎn)發(fā)數(shù)等def get_weibo(id,file):  i=1  while True:    url='https://m.weibo.cn/api/container/getIndex?type=uid&value='+id    weibo_url='https://m.weibo.cn/api/container/getIndex?type=uid&value='+id+'&containerid='+get_containerid(url)+'&page='+str(i)    try:      data=use_proxy(weibo_url,proxy_addr)      content=json.loads(data).get('data')      cards=content.get('cards')      if(len(cards)>0):        for j in range(len(cards)):          print("-----正在爬取第"+str(i)+"頁(yè),第"+str(j)+"條微博------")          card_type=cards[j].get('card_type')          if(card_type==9):            mblog=cards[j].get('mblog')            attitudes_count=mblog.get('attitudes_count')            comments_count=mblog.get('comments_count')            created_at=mblog.get('created_at')            reposts_count=mblog.get('reposts_count')            scheme=cards[j].get('scheme')            text=mblog.get('text')            with open(file,'a',encoding='utf-8') as fh:              fh.write("----第"+str(i)+"頁(yè),第"+str(j)+"條微博----"+"/n")              fh.write("微博地址:"+str(scheme)+"/n"+"發(fā)布時(shí)間:"+str(created_at)+"/n"+"微博內(nèi)容:"+text+"/n"+"點(diǎn)贊數(shù):"+str(attitudes_count)+"/n"+"評(píng)論數(shù):"+str(comments_count)+"/n"+"轉(zhuǎn)發(fā)數(shù):"+str(reposts_count)+"/n")        i+=1      else:        break    except Exception as e:      print(e)      passif __name__=="__main__":  file=id+".txt"  get_userInfo(id)  get_weibo(id,file)

爬取結(jié)果

Python,爬蟲(chóng),新浪微博,代理IP

Python,爬蟲(chóng),新浪微博,代理IP

希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。


注:相關(guān)教程知識(shí)閱讀請(qǐng)移步到python教程頻道。
發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 永定县| 景宁| 密云县| 涞水县| 个旧市| 于田县| 托克逊县| 凤冈县| 会东县| 武穴市| 辽阳市| 永州市| 分宜县| 廊坊市| 永靖县| 南靖县| 古交市| 比如县| 波密县| 台山市| 凤翔县| 定陶县| 和林格尔县| 荣成市| 封丘县| 曲麻莱县| 岳池县| 黎城县| 青海省| 汪清县| 保定市| 天津市| 鹤岗市| 清新县| 芦溪县| 西充县| 淳化县| 斗六市| 东安县| 冕宁县| 和顺县|