抓取豆瓣電影TOP100
一、分析豆瓣top頁面，構建程序結構
1.首先打開網頁http://movie.douban.com/top250?start，也就是top頁面
然后試著點擊到top100的頁面，注意帶top100的鏈接依次為
http://movie.douban.com/top250?start=0http://movie.douban.com/top250?start=25http://movie.douban.com/top250?start=50http://movie.douban.com/top250?start=75
2.然后通過查看源碼，發現電影名的代碼如下：
<span class="title">肖申克的救贖</span>
<span class="title"> / The Shawshank Redemption</span>
如圖，因為有一些英文名等描述，通過正則抓取有些干擾，可能還需要后續過濾。
根據以上信息，此程序主要分以下3個步驟：
二、構建url地址池
- 抓取top100電影名稱
- 依次打印輸出
依次寫出代碼
1.構建url地址池。代碼如下：
import urllib2import re# ----------確定url地址池------------pre_url = 'http://movie.douban.com/top250?start='top_urls = []# 因為top100，每頁25部電影，故為4頁,從零開始for num in range(4): top_urls.append(pre_url + str(num * 25))
2.抓取top100電影名稱
# ------------抓取top100電影名稱----------top_content = []top_tag = re.compile(r'<span class="title">(.+?)</span>')for url in top_urls: content = urllib2.urlopen(url).read() pre_content = re.findall(top_tag, content) # 過濾不符合條件的list，得到最后的top100的list for item in pre_content: if item.find(' ') == -1: top_content.append(item) 3.打印輸出
top_num = 1for item in top_content: print 'Top' + str(top_num) + ' ' + item top_num += 1
三、整理代碼
我還是python新手，還沒有太多的pythonic思想，也沒有代碼優化技巧，只能說是整理。
其次，個人習慣，在簡單的代碼里面我還是喜歡少用函數，盡量不隱藏代碼的邏輯。
以下代碼請參考，并歡迎提意見，希望得到大家的意見，謝謝！
整理后的代碼如下：
# coding=utf-8'''本代碼為自動抓取豆瓣top100電影代碼@pre_url url地址前綴，在這里為http://movie.douban.com/top250?start=@top_urls url地址池@top_tag 為抓取電影名正則表達式'''import urllib2import repre_url = 'http://movie.douban.com/top250?start='top_urls = []top_tag = re.compile(r'<span class="title">(.+?)</span>')top_content = []top_num = 1# ----------確定url地址池------------# 因為top100，每頁25部電影，故為4頁,從零開始for num in range(4): top_urls.append(pre_url + str(num * 25))# ------------抓取top100電影名稱，并打印輸出----------top_tag = re.compile(r'<span class="title">(.+?)</span>')for url in top_urls: content = urllib2.urlopen(url).read() pre_content = re.findall(top_tag, content) # 過濾并打印輸出 for item in pre_content: if item.find(' ') == -1: print 'Top' + str(top_num) + ' ' + item top_num += 1 抓取用戶頭像圖片
import urllib.requestimport reimport time #獲取輸入的帖子單頁htmldef getHtml2(url2): html2=urllib.request.urlopen(url2).read().decode('utf-8') return html2 #抽取圖片相關列表，并下載圖片def gettopic(html2): reg2=r'http://www.douban.com/group/topic//d+' topiclist=re.findall(reg2,html2) x=0 #限制下載的圖片數 for topicurl in topiclist: x+=1 return topicurl #下載圖片到本地def download(topic_page): reg3=r'http://img3.douban.com/view/group_topic/large/public/.+/.jpg' imglist=re.findall(reg3,topic_page) i=1 download_img=None for imgurl in imglist:#取圖片ID為文件名 img_numlist=re.findall(r'p/d{7}',imgurl) for img_num in img_numlist: download_img=urllib.request.urlretrieve(imgurl,'D:/python/code/girls/%s.jpg'%img_num) time.sleep(1) i+=1 print(imgurl) return download_img #調用函數page_end=int(input('請輸入結束時的頁碼：'))num_end=page_end*25num=0page_num=1while num<=num_end: html2=getHtml2('http://www.douban.com/group/kaopulove/discussion?start=%d'%num) topicurl=gettopic(html2) topic_page=getHtml2(topicurl) download_img=download(topic_page) num=page_num*25 page_num+=1 else: print('采集完成！') 
