網(wǎng)站的robots協(xié)議也可以叫做爬蟲協(xié)議，通過這些協(xié)議可以告訴搜索引擎蜘蛛網(wǎng)站的哪些內(nèi)容可以抓取，哪些不能抓取。具體解釋可以參照百度百科。關(guān)于wordpress網(wǎng)站的robots協(xié)議，八貓做了詳細的梳理。這里感謝悅聽有聲站長的分享。

1.什么是robots協(xié)議

網(wǎng)站的robots協(xié)議也可以叫做爬蟲協(xié)議，通過這些協(xié)議可以告訴搜索引擎蜘蛛網(wǎng)站的哪些內(nèi)容可以抓取，哪些不能抓取。具體解釋可以參照百度百科。關(guān)于用法，其實很簡單。寫好robots.txt寫好之后，把robots.txt協(xié)議上傳到網(wǎng)站的根目錄。這樣每次搜索引擎抓取的時候就會遵循robots.txt協(xié)議上的內(nèi)容進行抓取。不過需要注意的是：

robots.txt在書寫的時候一定要謹慎，因為不夠謹慎的話導(dǎo)致網(wǎng)站收錄收到影響。比如下面這句：Disallow: /。Vevb.com

這個指的是不允許抓取網(wǎng)站上所有的內(nèi)容。注意斜杠之前要有一個空格。包括其他的Disallow也是。一定要有空格，這個才是正確的robots寫法。

2.wordpress網(wǎng)站如何使用書寫robots協(xié)議

關(guān)于wordpress網(wǎng)站的robots協(xié)議，八貓做了如下匯總。這是悅聽有聲的站長分享出來的。簡單說下 User-agent： 搜索引擎的名稱。其他的可以具體看。

1. User-agent: * 
2.  
3.  
4. Disallow: /wp-admin/ 
5.  
6.  
7. Disallow: /wp-content/ 
8.  
9.  
10. Disallow: /wp-includes/ 
11.  
12.  
13. Disallow: /feed 
14.  
15.  
16. Disallow: comment-page-* 
17.  
18.  
19. Disallow: trackback 
20.  
21.  
22. Disallow: /?s=* 
23.  
24.  
25. Disallow: /*/?s=* 
26.  
27.  
28. Disallow: /?p=* 
29.  
30.  
31. Disallow: /?p=*&preview=true 
32.  
33.  
34. Disallow: /?page_id=*&preview=true 
35.  
36.  
37. Disallow: /wp-login.php 
38.  
39.  
40. User-agent: MJ12bot 
41.  
42.  
43. Disallow:/ 
44.  
45.  
46. User-agent: Adsbot-Google 
47.  
48.  
49. Disallow: / 
50.  
51.  
52.  User-agent: Feedfetcher-Google 
53.  
54.  
55. Disallow: / 
56.  
57.  
58.  User-agent: Yahoo! Slurp 
59.  
60.  
61. Disallow: / 
62.  
63.  
64.  User-agent: Yahoo! Slurp China 
65.  
66.  
67. Disallow: / 
68.  
69.  
70.  User-agent: Yahoo!-AdCrawler 
71.  
72.  
73. Disallow: / 
74.  
75.  
76.  User-agent: YoudaoBot 
77.  
78.  
79. Disallow: / 
80.  
81.  
82.  User-agent: Sosospider 
83.  
84.  
85. Disallow: / 
86.  
87.  
88.  User-agent: Sogou spider 
89.  
90.  
91. Disallow: / 
92.  
93.  
94. User-agent: Sogou web spider 
95.  
96.  
97. Disallow: / 
98.  
99.  
100. User-agent: MSNBot 
101.  
102.  
103. Disallow: /