Python 爬蟲爬取指定博客的所有文章

2019-11-25 16:56:06

字體：大中小

來源：轉載

供稿：網友

自上一篇文章 Z Story : Using Django with GAE Python 后臺抓取多個網站的頁面全文后，大體的進度如下：
1.增加了Cron：用來告訴程序每隔30分鐘讓一個task 醒來，跑到指定的那幾個博客上去爬取最新的更新
2.用google 的 Datastore 來存貯每次爬蟲爬下來的內容。。只存貯新的內容。。

就像上次說的那樣，這樣以來性能有了大幅度的提高：原來的每次請求后，爬蟲才被喚醒所以要花大約17秒的時間才能從后臺輸出到前臺而現在只需要2秒不到

3.對爬蟲進行了優化

1. Cron.yaml 來安排每個程序醒來的時間

經過翻文檔，問問題終于弄明白google的cron的工作原理－－實際上只是google每隔指定的時間虛擬地訪問一個我們自己指定的url…
因此在Django 下，根本不需要寫一個純的python 程序一定不要寫：
if __name__=="__main__":
只需要自己配置一個url 放在views.py里：

def updatePostsDB(request):  #deleteAll()  SiteInfos=[]  SiteInfo={}  SiteInfo['PostSite']="L2ZStory"  SiteInfo['feedurl']="feed://l2zstory.wordpress.com/feed/"  SiteInfo['blog_type']="wordpress"  SiteInfos.append(SiteInfo)  SiteInfo={}  SiteInfo['PostSite']="YukiLife"  SiteInfo['feedurl']="feed://blog.sina.com.cn/rss/1583902832.xml"  SiteInfo['blog_type']="sina"  SiteInfos.append(SiteInfo)  SiteInfo={}  SiteInfo['PostSite']="ZLife"  SiteInfo['feedurl']="feed://ireallife.wordpress.com/feed/"  SiteInfo['blog_type']="wordpress"  SiteInfos.append(SiteInfo)  SiteInfo={}  SiteInfo['PostSite']="ZLife_Sina"  SiteInfo['feedurl']="feed://blog.sina.com.cn/rss/1650910587.xml"  SiteInfo['blog_type']="sina"  SiteInfos.append(SiteInfo)    try:    for site in SiteInfos:      feedurl=site['feedurl']      blog_type=site['blog_type']      PostSite=site['PostSite']      PostInfos=getPostInfosFromWeb(feedurl,blog_type)      recordToDB(PostSite,PostInfos)    Msg="Cron Job Done..."   except Exception,e:    Msg=str(e)    return HttpResponse(Msg)

cron.yaml 要放在跟app.yaml同一個級別上：
cron:
- description: retrieve newest posts
url: /task_updatePosts/
schedule: every 30 minutes

在url.py 里只要指向這個把task_updatePostsDB 指向url就好了

調試這個cron的過程可以用慘烈來形容。。。在stackoverflow上有很多很多人在問為什么自己的cron不能工作。。。我一開始也是滿頭是汗，找不著頭腦。。。最后僥幸弄好了，大體步驟也是空泛的很。。但是很樸實：
首先，一定要確保自己的程序沒有什么syntax error….然后可以自己試著手動訪問一下那個url 如果cron 正常的話，這個時候任務應該已經被執行了最后實在不行的話多看看log…

2. Datastore的配置和利用－－Using Datastore with Django

我的需求在這里很簡單－－沒有join…所以我就直接用了最簡陋的django-helper..
這個models.py 是個重點：

復制代碼代碼如下:

from appengine_django.models import BaseModel
from google.appengine.ext import db

classPostsDB(BaseModel):
    link=db.LinkProperty()
    title=db.StringProperty()
    author=db.StringProperty()
    date=db.DateTimeProperty()
    description=db.TextProperty()
    postSite=db.StringProperty()

前兩行是重點中的重點。。。。我一開始天真沒寫第二行。。。結果我花了2個多小時都沒明白是怎么回事。。得不償失。。。
讀寫的時候，千萬別忘了。。。PostDB.put()

一開始的時候，我為了省事，就直接每次cron被喚醒，就刪除全部的數據，然后重新寫入新爬下來的數據。。。
結果。。。一天過后。。。有4萬條讀寫紀錄。。。。而每天免費的只有5萬條。。。。
所以就改為在插入之前先看看有沒有更新，有的話就寫，沒的話就不寫。?？偹惆褦祿爝@部分搞好了。。。

3.爬蟲的改進：
一開始的時候，爬蟲只是去爬feed里給的文章。。這樣一來，如果一個博客有24＊30篇文章的話。。。最多只能拿到10篇。。。。
這次，改進版能爬所有的文章。。我分別拿孤獨川陵，韓寒， Yuki和Z的博客做的試驗。。成功的很。。。其中孤獨川陵那里有720＋篇文章。。。無遺漏掉的被爬下來了。。

import urllib#from BeautifulSoup import BeautifulSoupfrom pyquery import PyQuery as pqdef getArticleList(url):  lstArticles=[]  url_prefix=url[:-6]  Cnt=1    response=urllib.urlopen(url)  html=response.read()  d=pq(html)  try:    pageCnt=d("ul.SG_pages").find('span')    pageCnt=int(d(pageCnt).text()[1:-1])  except:    pageCnt=1  for i in range(1,pageCnt+1):    url=url_prefix+str(i)+".html"    #print url    response=urllib.urlopen(url)    html=response.read()    d=pq(html)    title_spans=d(".atc_title").find('a')    date_spans=d('.atc_tm')        for j in range(0,len(title_spans)):      titleObj=title_spans[j]      dateObj=date_spans[j]      article={}      article['link']= d(titleObj).attr('href')      article['title']= d(titleObj).text()      article['date']=d(dateObj).text()      article['desc']=getPageContent(article['link'])      lstArticles.append(article)  return lstArticles  def getPageContent(url):  #get Page Content  response=urllib.urlopen(url)  html=response.read()  d=pq(html)  pageContent=d("div.articalContent").text()  #print pageContent  return pageContentdef main():  url='http://blog.sina.com.cn/s/articlelist_1191258123_0_1.html'#Han Han  url="http://blog.sina.com.cn/s/articlelist_1225833283_0_1.html"#Gu Du Chuan Ling  url="http://blog.sina.com.cn/s/articlelist_1650910587_0_1.html"#Feng  url="http://blog.sina.com.cn/s/articlelist_1583902832_0_1.html"#Yuki  lstArticles=getArticleList(url)  for article in lstArticles:    f=open("blogs/"+article['date']+"_"+article['title']+".txt",'w')    f.write(article['desc'].encode('utf-8')) ＃特別注意對中文的處理    f.close()    #print article['desc']    if __name__=='__main__':  main()

對PyQuery的推薦。。
很遺憾的說， BueautifulSoup讓我深深的失望了。。。在我寫上篇文章的時候，當時有個小bug..一直找不到原因。。在我回家后，又搭上了很多時間試圖去弄明白為什么BueautifulSoup一直不能抓到我想要的內容。。。后來大體看了看它selector部分的源代碼覺得應該是它對于很多還有<script>tag的不規范html頁面的解析不準確。。。

我放棄了這個庫，又試了lxml..基于xpath 很好用。。但是xpath的東西我老是需要查文檔。。。所以我又找了個庫PyQuery…可以用jQuery選擇器的工具。。。非常非常非常好用。。。。具體的用法就看上面吧。。。這個庫有前途。。。

隱憂
因為pyquery基于lxml…而lxml的底層又是c…所以估計在gae上用不了。。。我這個爬蟲只能現在在我的電腦上爬好東西。。。然后push到server上。。。

總結

一句話，我愛死Python了
兩句話，我愛死Python了，我愛死Django了
三句話，我愛死Python了，我愛死Django了，我愛死jQuery了。。。
四句號，我愛死Python了，我愛死Django了，我愛死jQuery了，我愛死pyQuery了。。。

上一篇：玩轉python爬蟲之cookie使用方法

下一篇：Using Django with GAE Python 后臺抓取多個網站的頁面全文