国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 網站 > 建站經驗 > 正文

batchcollect pagecollect來自官方杰奇jieqi定時采集配置方法參

2019-11-02 17:03:54
字體：大 中 小
來源：轉載
供稿：網友
前言

要實現采集，默認方式是根據配置好的采集規則，在瀏覽器提交相應的參數即可完成后面的采集入庫全部動作。

而實現定時采集，與人工在瀏覽器提交有些區別，主要分兩大步驟：

一、編寫采集的url和相關參數，訪問這個url即可實現想要的采集模式。（這個url直接在瀏覽器提交同樣可以實現采集）

二、把定時訪問這個url的功能加到系統的定時任務里面，實現無人值守的定時采集。

具體實現方法請參考下面內容：

1、對采集配置文件的解釋

任何一個采集都會用到兩個采集配置文件（跟后臺采集規則配置對應），都可以用文本編輯器打開查看。

其中 /configs/article/collectsite.php 是對總的采集站點配置，記錄了一共允許采集哪幾個站點。

里面包含類似這樣的內容：

$jieqiCollectsite['1']['name'] = '采集站點一'; 

$jieqiCollectsite['1']['config'] = 'abc_com'; 

$jieqiCollectsite['1']['url'] = 'http://www.abc.com'; 

$jieqiCollectsite['1']['subarticleid'] = 'floor($articleid/1000)';

$jieqiCollectsite['1']['enable'] = '1';

$jieqiCollectsite['2']['name'] = '采集站點二';

$jieqiCollectsite['2']['config'] = 'def_net';

$jieqiCollectsite['2']['url'] = 'http://www.def.net';

$jieqiCollectsite['2']['subarticleid'] = '';

$jieqiCollectsite['2']['enable'] = '1';

參數含義解釋如下：

['1'] - 這里的 1 表示采集網站的數字序號，不同的采集站序號不能重復。

['name'] - 采集網站名稱。

['config'] - 網站英文標識，這個網站采集規則配置文件有關，比如這個值是 abc_com ，那么采集規則配置文件就是 /configs/article/site_abc_com.php。

['url'] - 采集網站網址。

['subarticleid'] - 采集網站，文章子序號運算方式，本項目主要為了兼容以前程序，新版本里面文章子序號可以通過采集獲得。

['enable'] - 是否允許采集，1 表示允許，0 表示禁止，默認為 1。

如前面所說，每個采集網站有個專門的采集規則配置文件，/configs/article/ 目錄下以 site_ 開頭的php文件，如 /configs/article/site_abc_com.php。

里面內容都與后臺采集規則設置相對應，具體細節不一一解釋。需要了解的是本文件里面內容分兩大部分，前面內容都是對網站內容采集規則的配置，而最后面 $jieqiCollect['listcollect']['0']，$jieqiCollect['listcollect']['1'] 這樣的設置是對網站"批量采集規則"的配置，比如按最近更新采集、按排行榜采集，可以設置多個。['0'] 這里的數字 0 表示批量采集類別的數字序號，同一個網站也不能重復。

2、編寫采集內容的url及參數

這里的采集是針對多篇文章批量采集，分兩種模式：

一、按頁面批量采集，比如采集最新更新列表或者排行榜列表，每個鏈接采集一頁。

鏈接格式如下：

http://www.jb51.net/modules/article/admin/pagecollect.php?action=collect&siteid=1&collectname=0&startpageid=1&maxpagenum=1¬addnew=0&jieqi_username=admin&jieqi_userpassword=1234

參數含義解釋如下：

www.jb51.net - 是指您的網址。

action - 字符串，程序執行的動作命令，固定值為 collect。

siteid - 數字類型，要采集的網站序號，具體哪個網站對應什么序號見配置文件collectsite.php。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板： 武隆县| 兴隆县| 南宫市| 四川省| 万州区| 桂平市| 睢宁县| 夹江县| 都安| 铜山县| 丰县| 兴义市| 巴青县| 资中县| 湖口县| 杭锦旗| 呼和浩特市| 商都县| 荔波县| 隆德县| 噶尔县| 乌兰浩特市| 西宁市| 石景山区| 余干县| 白朗县| 平南县| 宜良县| 巩留县| 济南市| 金门县| 磐石市| 扎鲁特旗| 望奎县| 曲松县| 交城县| 华蓥市| 双桥区| 孝感市| 光泽县| 日土县|