国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

使用BeautifulSoup爬蟲程序獲取百度搜索結(jié)果的標(biāo)題和url示例

2019-11-25 18:33:45
字體:
供稿:網(wǎng)友

熟悉Java的jsoup包的話,對于Python的BeautifulSoup庫應(yīng)該很容易上手。

復(fù)制代碼 代碼如下:

#coding: utf-8
import sys
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup

question_word = "吃貨 程序員"
url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))
htmlpage = urllib2.urlopen(url).read()
soup = BeautifulSoup(htmlpage)
print len(soup.findAll("table", {"class": "result"}))
for result_table in soup.findAll("table", {"class": "result"}):
    a_click = result_table.find("a")
    print "-----標(biāo)題----/n" + a_click.renderContents()#標(biāo)題
    print "----鏈接----/n" + str(a_click.get("href"))#鏈接
    print "----描述----/n" + result_table.find("div", {"class": "c-abstract"}).renderContents()#描述
    print

發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 太仆寺旗| 日照市| 嘉祥县| 郑州市| 潜江市| 清水河县| 自治县| 四子王旗| 惠安县| 阿拉善右旗| 嘉祥县| 铜山县| 临沭县| 大庆市| 嫩江县| 岳池县| 建宁县| 蓝田县| 巴林右旗| 钟祥市| 达孜县| 临漳县| 新建县| 保德县| 商河县| 大方县| 宜良县| 仪陇县| 汕尾市| 新蔡县| 余干县| 宜兴市| 泾源县| 彝良县| 南宁市| 浦东新区| 奇台县| 宜城市| 武胜县| 阳江市| 尉犁县|