国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python實現(xiàn)抓取網(wǎng)頁并且解析的實例

2019-11-25 18:12:41
字體:
供稿:網(wǎng)友

本文以實例形式講述了Python實現(xiàn)抓取網(wǎng)頁并解析的功能。主要解析問答與百度的首頁。分享給大家供大家參考之用。

主要功能代碼如下:

#!/usr/bin/python#coding=utf-8import sys import reimport urllib2from urllib import urlencodefrom urllib import quoteimport timemaxline = 2000wenda = re.compile("href=/"http://wenda.so.com/q/.+/?src=(.+?)/"")baidu = re.compile("<a href=/"http://www.baidu.com/link/?url=.+/".*?>更多知道相關(guān)問題.*?</a>")f1 = open("baidupage.txt","w")f2 = open("wendapage.txt","w")for line in sys.stdin:  if maxline == 0:    break  query = line.strip();  time.sleep(1);  recall_url = "http://www.so.com/s?&q=" + query;  response = urllib2.urlopen(recall_url);  html = response.read();                                                     f1.write(html)  m = wenda.search(html);  if m:    if m.group(1) == "110":      print query + "/twenda/t0";    else:      print query + "/twenda/t1";  else:    print query + "/twenda/t0";  recall_url = "http://www.baidu.com/s?wd=" + query +"&ie=utf-8";  response = urllib2.urlopen(recall_url);  html = response.read();  f2.write(html)  m = baidu.search(html);  if m:    print query + "/tbaidu/t1";  else:    print query + "/tbaidu/t0";  maxline = maxline - 1;f1.close()f2.close()

希望本文所述對大家Python程序設(shè)計的學習有所幫助。

發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 荣成市| 仁布县| 科技| 泸西县| 八宿县| 福海县| 东方市| 灵丘县| 荣成市| 庐江县| 定安县| 房产| 肇东市| 晋中市| 洪湖市| 樟树市| 奈曼旗| 专栏| 观塘区| 安阳市| 红河县| 博乐市| 肥城市| 梧州市| 九龙城区| 房产| 水城县| 长武县| 池州市| 宁夏| 天柱县| 松潘县| 富顺县| 扶绥县| 九江市| 临夏市| 讷河市| 黑河市| 淄博市| 广水市| 盘山县|