基于ThinkPHP5框架使用QueryList爬取并存入mysql數據庫操作示例

2024-05-05 00:09:15

字體：大中小

來源：轉載

供稿：網友

本文實例講述了基于ThinkPHP5框架使用QueryList爬取并存入mysql數據庫操作。分享給大家供大家參考，具體如下：

QueryList4教程地址：

https://doc.querylist.cc/site/index/doc/45

在ThinkPHP5代碼根目錄執行composer命令安裝QueryList:

composer require jaeger/querylist

如果出現以下錯誤

Loading composer repositories with package information
Updating dependencies (including require-dev)
Authentication required (packagist.phpcomposer.com):
Username:

出現這樣的情況

使用

composer config -g repo.packagist composer https://packagist.laravel-china.org

下面演示在Index控制器中使用QueryList:

use QL/QueryList;public function qulist(){  $data = QueryList::get('http://maoyan.com/board/4')  // 設置采集規則  ->rules([    // 爬取圖片地址    "src"=>array(".board-wrapper dd img.board-img","data-src"),    // 爬取電影名    "name"=>array(".board-wrapper dd .movie-item-info .name","html"),    // 爬取電影主演信息    "star"=>array(".board-wrapper dd .movie-item-info .star","html"),    // 爬取上映時間    "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),  ])  ->query()->getData();  $excel_array=$data->all();  var_dump($excel_array);exit;}

如果沒有錯的則

ThinkPHP5,QueryList,mysql,數據庫

如果想繼續抓取下一頁的數據要根據規律來去

ThinkPHP5,QueryList,mysql,數據庫

這里我繼續抓取20頁但是沒有那么多就抓取了10頁的數據

public function qulist(){    for($i=0;$i<20;$i++){      $page=$i*10;      $data = QueryList::get('http://maoyan.com/board/4?offset='.$page)        // 設置采集規則        ->rules([          // 爬取圖片地址          "src"=>array(".board-wrapper dd img.board-img","data-src"),          // 爬取電影名          "name"=>array(".board-wrapper dd .movie-item-info .name","html"),          // 爬取電影主演信息          "star"=>array(".board-wrapper dd .movie-item-info .star","html"),          // 爬取上映時間          "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),        ])        ->query()->getData();      $excel_array=$data->all();      var_dump($excel_array);exit;    }}

將數據插入到數據庫詳細步驟

ThinkPHP5,QueryList,mysql,數據庫