簡介
Puppeteer是Google開發(fā)并開源的一款工具，可用代碼驅(qū)動瀏覽器操作。
由于諸多優(yōu)秀的特性，Puppeteer常被用在爬蟲與自動化測試上。詳細(xì)介紹參見官方 README 。
Puppeteer本身是個NodeJS的庫，自動化腳本也需要使用NodeJS編寫，如果對JS不了解建議先學(xué)習(xí)JavaScript基礎(chǔ)語法，或者使用Selenium等其他工具去實現(xiàn)。
對于一個陌生的工具，應(yīng)當(dāng)先檢查是否適合自己，再去嘗試使用，切莫盲目從眾。
Puppeteer 用處
配置
Node環(huán)境配置
下載并安裝NodeJS:
wget https://nodejs.org/dist/v8.12.0/node-v8.12.0-linux-x64.tar.xztar xf node-v8.12.0-linux-x64.tar.xzmv node-v8.12.0-linux-x64 /usr/local/libln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/npm /usr/local/bin/ln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/node /usr/local/bin/
*(可選)配置淘寶的源，加速npm包的下載：
npm config set registry https://registry.npm.taobao.org
安裝Puppeteer
配置淘寶的Puppeteer下載源，用于安裝Chromium：
export PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.com.cnpmjs.orgnpm i puppeteer
國內(nèi)不配置時會在卡在下載Chromium
示例
新建一個test.js
const puppeteer = require('puppeteer');(async () => { const browser = await puppeteer.launch({ ignoreHTTPSErrors: true, headless: false, args: ['--no-sandbox'] }); const page = await browser.newPage(); await page.goto('https://intest.tech'); await page.waitFor(5e3); await browser.close();})();運行：
node test.js
截圖
知識點
const puppeteer = require('puppeteer');(async () => {const browser = await (puppeteer.launch({// 若是手動下載的chromium需要指定chromium地址, 默認(rèn)引用地址為 /項目目錄/node_modules/puppeteer/.local-chromium/executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium',//設(shè)置超時時間timeout: 15000,//如果是訪問https頁面 此屬性會忽略https錯誤ignoreHTTPSErrors: true,// 打開開發(fā)者工具, 當(dāng)此值為true時, headless總為falsedevtools: false,// 關(guān)閉headless模式, 會打開瀏覽器headless: false}));const page = await browser.newPage();await page.goto('https://www.jianshu.com/u/40909ea33e50');await page.screenshot({path: 'jianshu.png',type: 'png',// quality: 100, 只對jpg有效fullPage: true,// 指定區(qū)域截圖，clip和fullPage兩者只能設(shè)置一個// clip: {// x: 0,// y: 0,// width: 1000,// height: 40// }});browser.close();})();進(jìn)階，獲取網(wǎng)易云音樂的歌詞和評論
網(wǎng)易云音樂的API經(jīng)過AES和RSA算法加密，需要攜帶加密的信息通過POST方式請求才能獲取到數(shù)據(jù)。但 Puppeteer 出現(xiàn)后，這些都不重要了，只要它頁面上顯示了，通過 Puppeteer 都能獲取到該元素。
知識點
const fs = require('fs');const puppeteer = require('puppeteer');(async () => {const browser = await (puppeteer.launch({ executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium', headless: false }));const page = await browser.newPage();// 進(jìn)入頁面await page.goto('https://music.163.com/#');// 點擊搜索框擬人輸入 鬼才會想起const musicName = '鬼才會想';await page.type('.txt.j-flag', musicName, {delay: 0});// 回車await page.keyboard.press('Enter');// 獲取歌曲列表的 iframeawait page.waitFor(2000);let iframe = await page.frames().find(f => f.name() === 'contentFrame');const SONG_LS_SELECTOR = await iframe.$('.srchsongst');// 獲取歌曲 鬼才會想起 的地址const selectedSongHref = await iframe.evaluate(e => {const songList = Array.from(e.childNodes);const idx = songList.findIndex(v => v.childNodes[1].innerText.replace(//s/g, '') === '鬼才會想起');return songList[idx].childNodes[1].firstChild.firstChild.firstChild.href;}, SONG_LS_SELECTOR);// 進(jìn)入歌曲頁面await page.goto(selectedSongHref);// 獲取歌曲頁面嵌套的 iframeawait page.waitFor(2000);iframe = await page.frames().find(f => f.name() === 'contentFrame');// 點擊 展開按鈕const unfoldButton = await iframe.$('#flag_ctrl');await unfoldButton.click();// 獲取歌詞const LYRIC_SELECTOR = await iframe.$('#lyric-content');const lyricCtn = await iframe.evaluate(e => {return e.innerText;}, LYRIC_SELECTOR);console.log(lyricCtn);// 截圖await page.screenshot({path: '歌曲.png',fullPage: true,});// 寫入文件let writerStream = fs.createWriteStream('歌詞.txt');writerStream.write(lyricCtn, 'UTF8');writerStream.end();// 獲取評論數(shù)量const commentCount = await iframe.$eval('.sub.s-fc3', e => e.innerText);console.log(commentCount);// 獲取評論const commentList = await iframe.$$eval('.itm', elements => {const ctn = elements.map(v => {return v.innerText.replace(//s/g, '');});return ctn;});console.log(commentList);})();參考
https://github.com/cnpm/cnpmjs.org/issues/1246#issuecomment-341631992
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持VeVb武林網(wǎng)。
新聞熱點
疑難解答
