“蜘蛛陷阱”是什么？

“蜘蛛陷阱”是阻止蜘蛛程序爬行網站的障礙物，一些網站設計技術對搜索引擎說很不友好，不利于蜘蛛爬行和抓取，這些技術被稱為蜘蛛陷阱。 最大的特點是當蜘蛛抓取某個特定URL的時候，它便進入了無限循環，只有入口，沒有出口。

常見的“蜘蛛陷阱”有哪些：

1、站內搜索

這是一個常見且容易造成“蜘蛛陷阱”的地方，當你試圖在站內搜索某些特定關鍵詞的時候，如果類似search.php?q=這樣的URL地址被搜索引擎抓取與收錄，那么很可能產生大量無意義的搜索結果頁面。

解決：你可以通過Robots.txt這個文件，屏蔽動態參數。

2、電商產品

如果你以往有過操作電商網站的經歷，那么你會遇到產品SKU的多樣性的問題，同一個主題內容，會根據SKU的不同，產生多個URL，造成大量的內容重復頁面，這也導致嚴重浪費蜘蛛抓取頻率。

當然，還有一種特殊的“蜘蛛陷阱”與電商產品頁面類似，就是動態的內容插入，這也往往導致蜘蛛陷入溫柔的陷阱。

解決：確保URL的規范性，你可以試圖利用rel=canonical這個標簽來解決類似問題。

3、Flash網站

為了滿足用戶的視覺體驗，建站公司通常會使用Flash網站，給用戶搭建企業官網，這樣看起來非常美觀，但由于目前搜索引擎并不能很好的抓取與識別flash內容，往往導致站點排名很難提升。

解決：不要做整站flash，盡量將flash嵌入網頁內容的一部分。

4、限制性內容

對于一些站點，出去吸引粉絲的目的，很多內容只有登錄才能查看，特別是一些強制cookie的操作，這誘導與欺騙了蜘蛛，它很難識別內容，并且不斷的嘗試抓取這個URL。

解決：針對網站建設，盡量避免采用這種策略，去吸引用戶。

如何識別“蜘蛛陷阱”

對于識別蜘蛛陷阱的方法，特別容易，你只需要通過如下內容：

① 網站日志：利用工具讀取當日蜘蛛抓取URL的內容，如果發現特殊的URL地址，那么值得進一步關注。

② 抓取頻率：查看百度搜索資源平臺中抓取頻率，如果某一天數值特別大，那么很可能陷入蜘蛛陷阱。

總結：常被討論的蜘蛛陷阱還有網站框架、sessionid、各類跳轉，本文只簡單講述了實際應用中常遇到的蜘蛛陷阱，僅供參考。