国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python抓取京東圖書評論數據

2020-02-23 05:44:52
字體:
來源:轉載
供稿:網友

 京東圖書評論有非常豐富的信息,這里面就包含了購買日期、書名、作者、好評、中評、差評等等。以購買日期為例,使用Python + Mysql的搭配進行實現,程序不大,才100行。相關的解釋我都在程序里加注了:

from selenium import webdriver
from bs4 import BeautifulSoup
import re
import win32com.client
import threading,time
import MySQLdb

def mydebug():
    driver.quit()
    exit(0)

def catchDate(s):
    """頁面數據提取"""
    soup = BeautifulSoup(s)
    z = []
    global nowtimes
   
    m = soup.findAll("div",class_="date-buy")
    for obj in m:
        try:
            tmp = obj.find('br').contents
        except Exception, e:
            continue
        if(tmp != ""):
            z.append(tmp)
            nowtimes += 1
    return z

def getTimes(n,t):
    """獲取當前進度"""
    return "當前進度為:" + str(int(100*n/t)) + "%"


#———————————————————————————————————| 程序開始 |—————————————————————————————————
#確定圖書大類
cate = {"3273":"歷史","3279":"心理學","3276":"政治軍事","3275":"國學古籍","3274":"哲學宗教","3277":"法律","3280":"文化","3281":"社會科學"}

#斷點續抓
num1 = input("bookid:")
num2 = input("pagenumber:")

#生成圖書大類鏈接,共需17355*20 = 347100次
totaltimes = 347100.0
nowtimes = 0

#開啟webdirver的PhantomJS對象
#driver = webdriver.PhantomJS()
driver = webdriver.Ie('C:/Python27/Scripts/IEDriverServer')
#driver = webdriver.Chrome('C:/Python27/Scripts/chromedriver')

#讀出Mysql中的評論頁面,進行抓取
# 連接數據庫 
try:
    conn = MySQLdb.connect(host='localhost',user='root',passwd='',db='jd')
except Exception, e:
    print e
    sys.exit()

# 獲取cursor對象
cursor = conn.cursor()
sql = "SELECT * FROM booknew ORDER BY pagenumber DESC"
cursor.execute(sql)
alldata = cursor.fetchall()

flag = 0
flag2 = 0

# 如果有數據返回就循環輸出,http://club.jd.com/review/10178500-1-154.html
if alldata:
    for rec in alldata:

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 宣武区| 偃师市| 静乐县| 泾源县| 淅川县| 上蔡县| 庆云县| 随州市| 永仁县| 五台县| 彰化县| 云梦县| 肇源县| 井冈山市| 井研县| 镇宁| 达孜县| 隆回县| 贵州省| 米林县| 余江县| 盐山县| 平定县| 宁阳县| 库尔勒市| 涟源市| 儋州市| 罗甸县| 大港区| 明水县| 修文县| 上犹县| 连山| 玉溪市| 赣榆县| 西贡区| 宁化县| 南部县| 成武县| 安岳县| 富平县|