本文實例講述了Python實現新浪博客備份的方法。分享給大家供大家參考,具體如下:
Python2.7.2版本實現,推薦在IDE中運行。
# -*- coding:UTF-8 -*- #'''Created on 2011-12-18@author: Ahan'''import reimport sysimport osimport timeimport socketimport localeimport datetimeimport codecsfrom urllib import urlopen#正則表達式定義#匹配博文目錄鏈接pattern1=u"""<a href="(http:.*?)">博文目錄</a>"""prog1 = re.compile(pattern1)#匹配博文標題鏈接pattern2=u"""<a title="(.*?)" target="_blank" href="(.*?)">.*?</a>"""prog2=re.compile(pattern2)#匹配下一頁鏈接pattern3=u"""<a href="([^"]+)" title="[^"]+">下一頁"""prog3=re.compile(pattern3)#匹配正文部分pattern4=u"""<!--博文正文 begin -->[//s//S]*?<!-- 正文結束 -->"""prog4=re.compile(pattern4)#匹配正文圖片鏈接pattern5=u"""(src="[^"]+"( real_src ="([^"]+)"))"""prog5=re.compile(pattern5)def read_date_from_url(url): """以Unicode形式返回從url上讀取的所有數據 """ try: data = "" request = urlopen(url) while True: s = request.read(1024) if not s: break data += s return unicode(data) except: print '讀取數據時出錯' print "Unexpected error:", sys.exc_info()[0],sys.exc_info()[1] return None finally: if request: request.close()def save_to_file(url,filename,blog_address): """url為博文地址,filename為要保存的文件名,默認后綴為html """ #如果文件夾不存在則創建文件夾 if os.path.exists(blog_address)==False: os.makedirs(blog_address) #去掉文件名中的非法字符 filename=ReplaceBadCharOfFileName(filename) file_no=0 while os.path.isfile(blog_address+'/'+filename+'.html')==True: filename=filename+'('+file_no.__str__()+')' file_no+=1 text = read_date_from_url(url) text=_filter(text) #將圖片保存到本地 result=prog5.findall(text) i=1 for pic in result: folder=blog_address+'/'+filename+'/' pic_name='image'+i.__str__()+'.gif' if os.path.exists(folder)==False: os.makedirs(folder) try: url_file = urlopen(pic[2]) pic_file = codecs.open(folder+pic_name,'wb') while True: s = url_file.read(1024) if not s: break pic_file.write(s) pic_file.close() url_file.close() except: print '噢,保存圖片的時候出現問題了,跳過此張圖片...' print "Unexpected error:", sys.exc_info()[0],sys.exc_info()[1] else: print '保存圖片成功...' #替換正文中的圖片地址 text=text.replace(pic[0],unicode("src=/"" + filename + "/" + pic_name + "/"" + pic[1]),1) i=i+1 blog_file = codecs.open(blog_address+'/'+filename+'.html','wb') blog_file.write(text) blog_file.close()#提取文本中的正文部分def _filter(t): """提取文本中的正文部分,返回Unicode形式的字符串 """ result=prog4.search(t) if result is not None: return u'<html><head></head><body>' + unicode(result.group()) + u'</dody></html>' else: raise Exception('噢,提取正文出錯了……')#去掉文件名的不合法字符 def ReplaceBadCharOfFileName(filename): filename=filename.replace(" ","") filename=filename.replace("http://", "") filename=filename.replace("/", "") filename=filename.replace(":", "") filename=filename.replace("*", "") filename=filename.replace("?", "") filename=filename.replace("<", "") filename=filename.replace(">", "") filename=filename.replace("|", "") filename=filename.replace("&","") filename=filename.replace(";","") return filename#主函數if __name__ == '__main__': #準備階段 blog_no=1#博文編號 begin=1#起始博文 end=0#結束博文 page=0#頁碼 saved=0#成功保存的篇數 timeout = 60*5#超時設為5分鐘 socket.setdefaulttimeout(timeout)#這里對整個socket層設置超時時間。后續文件中如果再使用到socket,不必再設置 blog_address=raw_input("請輸入您的博客地址(輸入最后部分即可,比如您的博客地址是http://blog.sina.com.cn/jiangafu,只要輸入jiangafu):") blog_address=blog_address.replace('/r','') begin=raw_input('從第幾篇開始:') begin=locale.atoi(begin) while begin<=0: begin=raw_input('請輸入大于0的數:') begin=locale.atoi(begin) end=raw_input('到第幾篇結束(到最后請輸入0):') end=locale.atoi(end) while end<0: end=raw_input('請輸入大于等于0的數:') end=locale.atoi(end) if end==0: print '您的博客地址是:http://blog.sina.com.cn/'+blog_address+',保存第'+begin.__str__()+'篇到最后一篇博文' else: print '您的博客地址是:http://blog.sina.com.cn/'+blog_address+',保存第'+begin.__str__()+'篇到第'/ +end.__str__()+'篇的博文' starttime = datetime.datetime.now() text=read_date_from_url('http://blog.sina.com.cn/'+blog_address) time.sleep(0.5) #提取“博文目錄”的url result = prog1.search(text) if result is not None: print '博文目錄地址:' , result.group(1) text=read_date_from_url(result.group(1)) time.sleep(0.4) else: print '提取博文目錄地址失敗' #終止程序運行 sys.exit() #查找每一頁的全部博文,分析、提取、保存 while True: page+=1 print '開始備份第' , page , '頁' #匹配該頁的所有博文地址 result=prog2.findall(text) #循環下載本頁每篇博文 for blog in result: if blog_no < begin: blog_no += 1 elif end != 0 and blog_no > end: break else: try: save_to_file(blog[1],unicode(blog[0]),blog_address) except: print '噢,保存第',blog_no,'篇博文',blog[0],'的時候出現問題了,跳過...' blog_no += 1 print "Unexpected error:", sys.exc_info()[0],sys.exc_info()[1] else: print '成功保存了第', blog_no, '篇博文:', blog[0] blog_no += 1 saved += 1 time.sleep(0.4) #判斷是否有下一頁 result = prog3.search(text) if result is not None: text = read_date_from_url(result.group(1)) else: print '這是最后一頁' break print '博客備份完成一共備份',saved,'篇博文' print '共用時:',datetime.datetime.now() - starttime raw_input('按回車鍵退出...')更多關于Python相關內容感興趣的讀者可查看本站專題:《Python數據結構與算法教程》、《Python Socket編程技巧總結》、《Python函數使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
|
新聞熱點
疑難解答
圖片精選