七牛遠程抓取圖片

2019-11-14 14:38:11

字體：大中小

來源：轉載

供稿：網友

公司網站之前的用戶頭像是存儲在自己的服務器，后來管理不便，新增用戶頭像上傳到七牛，為了方便管理，數據統一，領導說把本地服務器的頭像全部遷移到七牛。

1.梳理下思路

先判斷用戶的頭像是否在七牛，若不存在，本地如果有則抓取到七牛，然后進行批量抓取

2.七牛判斷圖片是否存在

 1  /** 2      * 查看七牛url是否存在 3      * @param string $url 4      */ 5     function url_exists($url) { 6         require_once(COMMON_PATH."qiniu/rs.php"); 7         require_once(COMMON_PATH."qiniu/http.php"); 8         $parts=parse_url($url); 9         $bucket ；//桶10         $key=substr($parts['path'], 1);//七牛文件名11        //密鑰12         $accessKey ; 13         $secretKey ;14         Qiniu_SetKeys($accessKey, $secretKey);15         $client = new Qiniu_MacHttpClient(null);16         list($ret, $err) = Qiniu_RS_Stat($client, $bucket, $key);//查看單個文件信息17         if ($err !== null) {18             return false;19         } else {20             return true;21         }22     }

3.移動單個文件到七牛

 1 /** 2      * 移動單個頭像到七牛 3      * @param string  $remotePath 遠程文件在服務器上的物理地址 4      * @param string  $qiniuPath  七牛文件地址 5      */ 6     function oneFetch($remotePath,$qiniuPath){ 7         if(!$this->url_exists($qiniuPath) && file_exists($remotePath)){ 8             require_once(COMMON_PATH."qiniu/rs.php"); 9             require_once(COMMON_PATH."qiniu/http.php");10             require_once(COMMON_PATH."qiniu/conf.php");11             12             $client = new Qiniu_MacHttpClient(NULL);13             /*$accessUrl 遠程文件訪問地址14             *$bucket桶15             *$key 存儲在七牛的文件名16             */17             $ret = Qiniu_RS_Fetch($client,$accessUrl, $bucket, $key);18             19             if($ret != NULL)20             {21                 $errlog = 'fail.log';//寫錯誤日志22                 file_put_contents($errlog,    "{$key}/n", FILE_APPEND);23             }24             else25             {26                 var_dump($ret);27             }28         }else{29             var_dump('已有頭像');30         }31         32     }

4.批量抓取

function t(){        header("Content-type: text/html; charset=utf-8");        set_time_limit(0);        $start = intval($_GET['num']);//開始位置        $str =  '';        /*從數據庫查詢記錄*/        $link = MySQL_connect("localhost", "root", "root") or die("error");        $db_selected = mysql_select_db("test", $link);        mysql_query ("SET NAMES UTF8");        $limit = 10;//每次查詢數         $sql = "SELECT * FROM test order by id desc limit {$start},{$limit}";           $result = mysql_query($sql) or die(mysql_error());                if(mysql_num_rows($result))        {            while($row=mysql_fetch_assoc($result)){                    oneFetch($row['remotePath'], $row['qiniuPath']);            }                $start += 10;            $url = "/t?num={$start}";            $str = '已經更新'.$start.'條<br />';            $str .= '<scr$url.'";</script>';//更新$limit條，跳轉防止腳本無響應        }        else        {            echo '結束';        }                 echo $str;        ob_flush();        flush();        sleep(2);        unset($sql,$result,$row);    }