Python爬取商家聯(lián)系電話以及各種數(shù)據(jù)的方法

2020-01-04 14:05:55

字體：大中小

供稿：網(wǎng)友

上次學(xué)會(huì)了爬取圖片，這次就想著試試爬取商家的聯(lián)系電話，當(dāng)然，這里純屬個(gè)人技術(shù)學(xué)習(xí)，爬取過(guò)后及時(shí)刪除，不得用于其它違法用途，一切后果自負(fù)。

首先我學(xué)習(xí)時(shí)用的是114黃頁(yè)數(shù)據(jù)。

下面四個(gè)是用到的模塊，前面2個(gè)需要安裝一下，后面2個(gè)是python自帶的。

import requestsfrom bs4 import BeautifulSoupimport csvimport time

然后，寫個(gè)函數(shù)獲取到頁(yè)面種想要的數(shù)據(jù)，記得最后的return返回一下，因?yàn)橄旅娴暮瘮?shù)要到把數(shù)據(jù)寫到csv里面。

def get_content(url,data=None): header = {  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',  'Accept-Encoding': 'gzip, deflate',  'Accept-Language': 'zh-CN,zh;q=0.8',  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36', } r = requests.get(url, headers=header) soup = BeautifulSoup(r.content, 'html.parser') data = soup.body.find('div',{'id':'news_con'}) ul = data.find('ul') lis = ul.find_all('li') pthons=[] for item in lis:  rows=[]  name= item.find('h4').string  rows.append(name)  tel = item.find_all("div")[2].string  rows.append(tel)  pthons.append(rows)  time.sleep(1) return pthons

接著：把數(shù)據(jù)寫到表格里面。我這里用到的是csv,方便閱覽。

def write_data(data,name): file_name=name with open(file_name, "w", newline='') as csvfile:  writer = csv.writer(csvfile)  writer.writerow(["商鋪名稱", "聯(lián)系電話"])  writer.writerows(data)  print('抓取完成')

最后就是執(zhí)行這些函數(shù)：

if __name__ == '__main__': url = 'http://ty.114chn.com/CustomerInfo/Customers?cid=008004008&page=2' mydata = get_content(url) write_data(mydata,'phone.csv')

在這里我想到應(yīng)該把url寫成動(dòng)態(tài)的，因?yàn)檫@里面有頁(yè)數(shù)。讓page寫成循環(huán)自動(dòng)+1，當(dāng)然，可以在網(wǎng)頁(yè)看到一共多少頁(yè)。寫個(gè)循環(huán)執(zhí)行。就更完美了。

Python,爬取,電話,數(shù)據(jù)