国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python實現新浪博客備份的方法

2019-11-25 16:49:22
字體:
來源:轉載
供稿:網友

本文實例講述了Python實現新浪博客備份的方法。分享給大家供大家參考,具體如下:

Python2.7.2版本實現,推薦在IDE中運行。

# -*- coding:UTF-8 -*- #'''Created on 2011-12-18@author: Ahan'''import reimport sysimport osimport timeimport socketimport localeimport datetimeimport codecsfrom urllib import urlopen#正則表達式定義#匹配博文目錄鏈接pattern1=u"""<a href="(http:.*?)">博文目錄</a>"""prog1 = re.compile(pattern1)#匹配博文標題鏈接pattern2=u"""<a title="(.*?)" target="_blank" href="(.*?)">.*?</a>"""prog2=re.compile(pattern2)#匹配下一頁鏈接pattern3=u"""<a href="([^"]+)" title="[^"]+">下一頁"""prog3=re.compile(pattern3)#匹配正文部分pattern4=u"""<!--博文正文 begin -->[//s//S]*?<!-- 正文結束 -->"""prog4=re.compile(pattern4)#匹配正文圖片鏈接pattern5=u"""(src="[^"]+"( real_src ="([^"]+)"))"""prog5=re.compile(pattern5)def read_date_from_url(url):  """以Unicode形式返回從url上讀取的所有數據  """  try:    data = ""    request = urlopen(url)    while True:      s = request.read(1024)      if not s:        break      data += s    return unicode(data)  except:    print '讀取數據時出錯'    print "Unexpected error:", sys.exc_info()[0],sys.exc_info()[1]    return None  finally:    if request:      request.close()def save_to_file(url,filename,blog_address):  """url為博文地址,filename為要保存的文件名,默認后綴為html  """  #如果文件夾不存在則創建文件夾  if os.path.exists(blog_address)==False:    os.makedirs(blog_address)  #去掉文件名中的非法字符  filename=ReplaceBadCharOfFileName(filename)  file_no=0  while os.path.isfile(blog_address+'/'+filename+'.html')==True:    filename=filename+'('+file_no.__str__()+')'    file_no+=1  text = read_date_from_url(url)  text=_filter(text)  #將圖片保存到本地  result=prog5.findall(text)  i=1  for pic in result:    folder=blog_address+'/'+filename+'/'    pic_name='image'+i.__str__()+'.gif'     if os.path.exists(folder)==False:      os.makedirs(folder)    try:      url_file = urlopen(pic[2])      pic_file = codecs.open(folder+pic_name,'wb')      while True:        s = url_file.read(1024)        if not s:          break        pic_file.write(s)      pic_file.close()      url_file.close()    except:      print '噢,保存圖片的時候出現問題了,跳過此張圖片...'      print "Unexpected error:", sys.exc_info()[0],sys.exc_info()[1]    else:      print '保存圖片成功...'      #替換正文中的圖片地址      text=text.replace(pic[0],unicode("src=/"" + filename + "/" + pic_name + "/"" + pic[1]),1)      i=i+1  blog_file = codecs.open(blog_address+'/'+filename+'.html','wb')  blog_file.write(text)  blog_file.close()#提取文本中的正文部分def _filter(t):  """提取文本中的正文部分,返回Unicode形式的字符串  """  result=prog4.search(t)  if result is not None:    return u'<html><head></head><body>' + unicode(result.group()) + u'</dody></html>'  else:    raise Exception('噢,提取正文出錯了……')#去掉文件名的不合法字符 def ReplaceBadCharOfFileName(filename):  filename=filename.replace(" ","")  filename=filename.replace("http://", "")  filename=filename.replace("/", "")  filename=filename.replace(":", "")  filename=filename.replace("*", "")  filename=filename.replace("?", "")  filename=filename.replace("<", "")  filename=filename.replace(">", "")  filename=filename.replace("|", "")  filename=filename.replace("&","")  filename=filename.replace(";","")  return filename#主函數if __name__ == '__main__':  #準備階段  blog_no=1#博文編號  begin=1#起始博文  end=0#結束博文  page=0#頁碼  saved=0#成功保存的篇數  timeout = 60*5#超時設為5分鐘  socket.setdefaulttimeout(timeout)#這里對整個socket層設置超時時間。后續文件中如果再使用到socket,不必再設置  blog_address=raw_input("請輸入您的博客地址(輸入最后部分即可,比如您的博客地址是http://blog.sina.com.cn/jiangafu,只要輸入jiangafu):")  blog_address=blog_address.replace('/r','')  begin=raw_input('從第幾篇開始:')    begin=locale.atoi(begin)  while begin<=0:    begin=raw_input('請輸入大于0的數:')    begin=locale.atoi(begin)  end=raw_input('到第幾篇結束(到最后請輸入0):')  end=locale.atoi(end)  while end<0:    end=raw_input('請輸入大于等于0的數:')    end=locale.atoi(end)  if end==0:    print '您的博客地址是:http://blog.sina.com.cn/'+blog_address+',保存第'+begin.__str__()+'篇到最后一篇博文'  else:    print '您的博客地址是:http://blog.sina.com.cn/'+blog_address+',保存第'+begin.__str__()+'篇到第'/       +end.__str__()+'篇的博文'  starttime = datetime.datetime.now()  text=read_date_from_url('http://blog.sina.com.cn/'+blog_address)  time.sleep(0.5)  #提取“博文目錄”的url  result = prog1.search(text)  if result is not None:    print '博文目錄地址:' , result.group(1)    text=read_date_from_url(result.group(1))    time.sleep(0.4)  else:    print '提取博文目錄地址失敗'    #終止程序運行    sys.exit()  #查找每一頁的全部博文,分析、提取、保存   while True:    page+=1    print '開始備份第' , page , '頁'    #匹配該頁的所有博文地址    result=prog2.findall(text)    #循環下載本頁每篇博文    for blog in result:       if blog_no < begin:        blog_no += 1      elif end != 0 and blog_no > end:        break      else:        try:          save_to_file(blog[1],unicode(blog[0]),blog_address)        except:          print '噢,保存第',blog_no,'篇博文',blog[0],'的時候出現問題了,跳過...'          blog_no += 1          print "Unexpected error:", sys.exc_info()[0],sys.exc_info()[1]        else:          print '成功保存了第', blog_no, '篇博文:', blog[0]          blog_no += 1          saved += 1          time.sleep(0.4)    #判斷是否有下一頁    result = prog3.search(text)    if result is not None:      text = read_date_from_url(result.group(1))    else:      print '這是最后一頁'      break  print '博客備份完成一共備份',saved,'篇博文'  print '共用時:',datetime.datetime.now() - starttime  raw_input('按回車鍵退出...')

更多關于Python相關內容感興趣的讀者可查看本站專題:《Python數據結構與算法教程》、《Python Socket編程技巧總結》、《Python函數使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經典教程》及《Python文件與目錄操作技巧匯總

希望本文所述對大家Python程序設計有所幫助。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 定襄县| 茂名市| 滦南县| 桂东县| 仲巴县| 和田县| 垫江县| 安义县| 宝山区| 化德县| 泉州市| 五指山市| 尤溪县| 信阳市| 大渡口区| 安顺市| 长沙县| 左贡县| 广元市| 军事| 瓮安县| 深州市| 大英县| 桐柏县| 沛县| 滁州市| 贺州市| 镇康县| 香港 | 大英县| 土默特左旗| 财经| 宽城| 罗平县| 定日县| 晴隆县| 白玉县| 泸水县| 荔浦县| 始兴县| 启东市|