国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁(yè) > 學(xué)院 > 開發(fā)設(shè)計(jì) > 正文

使用BeautifulSoup提取網(wǎng)頁(yè)信息并自動(dòng)存儲(chǔ)

2019-11-14 13:01:55
字體:
供稿:網(wǎng)友

關(guān)于BeautifulSoup類的實(shí)例方法和屬性的說明,不再贅述,還是拿示例分析,看一看使用BeautifulSoup是如何提取網(wǎng)站信息并自動(dòng)存儲(chǔ)的。

下面的例子是用提供的網(wǎng)站域名作為文件夾名稱,把提取到的圖像文件存儲(chǔ)到文件夾中。

from bs4 import BeautifulSoupimport requestsimport osfrom urllib.request import urlopenfrom urllib.parse import urlparse'''if len(sys.argv) < 2:    PRint("用法:python bs4FileTest.py 網(wǎng)址")    exit(1)'''url = 'http://www.abvedu.com/appcpzs'domain = "{}://{}".format(urlparse(url).scheme, urlparse(url).hostname)#http://www.abvedu.comsrc = requests.get(url)print(type(src))src.encoding = 'bgk'#獲得以標(biāo)記為元素的文本列表html  = src.text#對(duì)超文本標(biāo)記語(yǔ)言進(jìn)行解析,生成一個(gè)BeautifulSoup實(shí)例bsbs = BeautifulSoup(html,'html.parser')#搜索的目標(biāo)是<img>標(biāo)簽,把搜索到的符合條件的標(biāo)簽存放到列表all_imgs中all_imgs = bs.find_all(['a','img'])#all_imgs = bs.find_all(['img'])#迭代列表for link in all_imgs:    #提取屬性值,即從<img..../>標(biāo)簽中提取屬性    src = link.get('src')    print("-----",src,"------------")    href = link.get('href')    print("**********",href,"**********")    #創(chuàng)建一個(gè)列表    targets = [src, href]    for t in targets:        if t != None and ('.jpg' in t or '.png' in t or 'gif' in t):            if t.startswith('http'): full_path = t            else:                     full_path = domain+t            print(full_path)            image_dir = url.split('/')[-1]            #檢查要存取的文件夾是否存在,如果不存在就創(chuàng)建一個(gè)新的            if not os.path.exists(image_dir): os.mkdir(image_dir)            filename = full_path.split('/')[-1]            ext = filename.split('.')[-1]            filename = filename.split('.')[-2]            if  'jpg' in ext: filename = filename + '.jpg'            else:              filename = filename + '.png'            image = urlopen(full_path)            fp = open(os.path.join(image_dir,filename),'wb')            fp.write(image.read())            fp.close()


發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 阜城县| 庆元县| 龙海市| 读书| 丰都县| 永昌县| 奈曼旗| 长宁县| 鲜城| 镇坪县| 聂拉木县| 永济市| 旬邑县| 利川市| 富宁县| 仙桃市| 平昌县| 土默特左旗| 且末县| 清水县| 邓州市| 化州市| 西和县| 合山市| 拉孜县| 神木县| 六盘水市| 革吉县| 安化县| 龙游县| 霍林郭勒市| 榆中县| 莱州市| 河间市| 林周县| 罗城| 贞丰县| 新和县| 垣曲县| 比如县| 胶南市|