国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > CMS > Wordpress > 正文

WordPress站點(diǎn) 之Robots.txt的優(yōu)化及寫法

2024-09-07 00:52:47
字體:
供稿:網(wǎng)友

Robots協(xié)議(也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等)的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol),網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。

搜索引擎機(jī)器人訪問網(wǎng)站時(shí),首先會尋找站點(diǎn)根目錄有沒有 robots.txt文件,如果有這個(gè)文件就根據(jù)文件的內(nèi)容確定收錄范圍,如果沒有就按默認(rèn)訪問以及收錄所有頁面。另外,當(dāng)搜索蜘蛛發(fā)現(xiàn)不存在robots.txt文件時(shí),會產(chǎn)生一個(gè)404錯誤日志在服務(wù)器上,從而增加服務(wù)器的負(fù)擔(dān),因此為站點(diǎn)添加一個(gè)robots.txt文件還是很重要的。

知道Robots協(xié)議的作用后,下面具體說一下WordPress站點(diǎn)如何編寫robots.txt文件。

WordPress站點(diǎn)默認(rèn)在瀏覽器中輸入:http://你的域名/robots.txt,會顯示如下內(nèi)容:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

這是由WordPress自動生成的,意思是告訴搜索引擎不要抓取后臺程序文件。

但這是遠(yuǎn)遠(yuǎn)不夠的,比較完整的WordPress站點(diǎn)robots.txt文件內(nèi)容如下:

  1. User-agent: * 
  2.  
  3. Disallow: /wp-admin/ 
  4.  
  5. Disallow: /wp-content/ 
  6.  
  7. Disallow: /wp-includes/ 
  8.  
  9. Disallow: page/ 
  10.  
  11. Disallow: /tagtrackback 
  12.  
  13. Disallow: /feed 
  14.  
  15. Disallow: ?s=*/ 
  16.  
  17. Disallow: /attachment/ 

使用方法:新建一個(gè)名稱為robots.txt文本文件,將上面的內(nèi)容放進(jìn)去,然后上傳到網(wǎng)站根目錄即可。

下面分別解釋一下各項(xiàng)的作用:

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告訴搜索引擎不要抓取后臺程序文件頁面。

2、Disallow: page/和Disallow: /tagtrackback

禁止搜索引擎抓取收錄trackback等垃圾信息

5、Disallow: /feed、Disallow: ?s=*/

禁止搜索引擎抓取站內(nèi)搜索結(jié)果

7、Disallow: /*?*

禁止搜索抓取動態(tài)頁面

8、Disallow: /attachment/

禁止搜索引擎抓取附件頁面,比如毫無意義的圖片附件頁面。

上面只是些基本的寫法,當(dāng)然還有很多,不過夠用了。

發(fā)表評論 共有條評論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 乐亭县| 于田县| 社旗县| 连山| 股票| 安仁县| 云龙县| 古田县| 宣化县| 阜阳市| 贡山| 杭州市| 广西| 凤山市| 金乡县| 蒙山县| 清新县| 海丰县| 鹰潭市| 南靖县| 景德镇市| 巩义市| 镶黄旗| 临安市| 鹤山市| 迁西县| 冀州市| 莱州市| 齐河县| 隆安县| 襄樊市| 南乐县| 博白县| 永年县| 林芝县| 启东市| 称多县| 怀宁县| 蒙自县| 神池县| 武陟县|