国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python抓取電影天堂電影信息的代碼

2019-11-25 16:51:17
字體:
來源:轉載
供稿:網友

Python2.7Mac OS

抓取的是電影天堂里面最新電影的頁面。鏈接地址: http://www.dytt8.net/html/gndy/dyzz/index.html

獲取頁面的中電影詳情頁鏈接

import urllib2import osimport reimport string# 電影URL集合movieUrls = []# 獲取電影列表def queryMovieList(): url = 'http://www.dytt8.net/html/gndy/dyzz/index.html'  conent = urllib2.urlopen(url) conent = conent.read() conent = conent.decode('gb2312','ignore').encode('utf-8','ignore')  pattern = re.compile ('<div class="title_all"><h1><font color=#008800>.*?</a>></font></h1></div>'+      '(.*?)<td height="25" align="center" bgcolor="#F4FAE2"> ',re.S) items = re.findall(pattern,conent)   str = ''.join(items) pattern = re.compile ('<a href="(.*?)" class="ulink">(.*?)</a>.*?<td colspan.*?>(.*?)</td>',re.S) news = re.findall(pattern, str) for j in news:    	movieUrls.append('http://www.dytt8.net'+j[0])

抓取詳情頁中的電影數據

def queryMovieInfo(movieUrls): for index, item in enumerate(movieUrls): print('電影URL: ' + item) conent = urllib2.urlopen(item) conent = conent.read() conent = conent.decode('gb2312','ignore').encode('utf-8','ignore')  movieName = re.findall(r'<div class="title_all"><h1><font color=#07519a>(.*?)</font></h1></div>', conent, re.S) if (len(movieName) > 0):  movieName = movieName[0] + ""  # 截取名稱  movieName = movieName[movieName.find("《") + 3:movieName.find("》")] else:  movieName = "" print("電影名稱: " + movieName.strip()) movieContent = re.findall(r'<div class="co_content8">(.*?)</tbody>',conent , re.S) pattern = re.compile('<ul>(.*?)<tr>', re.S) movieDate = re.findall(pattern,movieContent[0]) if (len(movieDate) > 0):  movieDate = movieDate[0].strip() + '' else:  movieDate = "" print("電影發布時間: " + movieDate[-10:]) pattern = re.compile('<br /><br />(.*?)<br /><br /><img') movieInfo = re.findall(pattern, movieContent[0]) if (len(movieInfo) > 0):  movieInfo = movieInfo[0]+''  # 刪除<br />標簽  movieInfo = movieInfo.replace("<br />","")  # 根據 ◎ 符號拆分  movieInfo = movieInfo.split('◎') else:  movieInfo = "" print("電影基礎信息: ") for item in movieInfo:  print(item) # 電影海報 pattern = re.compile('<img.*? src="(.*?)".*? />', re.S)		 movieImg = re.findall(pattern,movieContent[0]) if (len(movieImg) > 0):  movieImg = movieImg[0] else:  movieImg = ""  print("電影海報: " + movieImg) pattern = re.compile('<td style="WORD-WRAP: break-word" bgcolor="#fdfddf"><a href="(.*?)">.*?</a></td>', re.S) movieDownUrl = re.findall(pattern,movieContent[0]) if (len(movieDownUrl) > 0):  movieDownUrl = movieDownUrl[0] else:  movieDownUrl = "" print("電影下載地址:" + movieDownUrl + "") print("------------------------------------------------/n/n/n")

執行抓取

if __name__=='__main__':  print("開始抓取電影數據");   queryMovieList()  print(len(movieUrls))  queryMovieInfo(movieUrls)  print("結束抓取電影數據")

總結

學好正則表達式很重要,很重要,很重要!!!! Python的語法好有感覺, 對比Java …

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 扎囊县| 辽阳县| 黔西县| 建水县| 闽侯县| 石城县| 绥芬河市| 田林县| 济南市| 闻喜县| 怀化市| 琼中| 偃师市| 弥渡县| 乌审旗| 乌拉特中旗| 泽库县| 德令哈市| 建平县| 桐柏县| 信宜市| 肇庆市| 嫩江县| 和林格尔县| 安化县| 格尔木市| 防城港市| 黄石市| 镇原县| 嘉定区| 龙门县| 原平市| 诸暨市| 巫山县| 青海省| 西安市| 阳春市| 黑河市| 祁阳县| 长宁县| 本溪|