搜索引擎蜘蛛抓取配額是什么？
時間 :
2025-03-31,14:39:43
來源：合肥良馬網絡科技有限公司 官網：http://www.hemadj.cn/ 瀏覽：233
?一月份時，Google新的SEO代言人Gary Illyes在Google官方博客上發了一篇帖子：What Crawl Budget Means for Googlebot，討論了搜索引擎蜘蛛抓取份額相關問題。對大中型網站來說，這是個頗為重要的SEO問題，有時候會成為網站自然流量的瓶頸。
??今天的帖子總結一下Gary Illyes帖子里的以及后續跟進的很多博客、論壇帖子的主要內容，以及我自己的一些案例和理解。
??合肥網站制作公司強調一下，以下這些概念對百度同樣適用。
??什么是搜索引擎蜘蛛抓取份額？
??顧名思義，抓取份額是搜索引擎蜘蛛花在一個網站上的抓取頁面的總的時間上限。對于特定網站，搜索引擎蜘蛛花在這個網站上的總時間是相對固定的，不會無限制地抓取網站所有頁面。
??抓取份額的英文Google用的是crawl budget，直譯是爬行預算，我覺得不太能說明是什么意思，所以用抓取份額表達這個概念。
??抓取份額是由什么決定的呢？這牽扯到抓取需求和抓取速度限制。
??抓取需求
??抓取需求，crawl demand，指的是搜索引擎“想”抓取特定網站多少頁面。
??決定抓取需求的主要有兩個因素。一是頁面權重，網站上有多少頁面達到了基本頁面權重，搜索引擎就想抓取多少頁面。二是索引庫里頁面是否太久沒更新了。說到底還是頁面權重，權重高的頁面就不會太久不更新。
??頁面權重和網站權重又是息息相關的，提高網站權重，就能使搜索引擎愿意多抓取頁面。
??抓取速度限制
??搜索引擎蜘蛛不會為了抓取更多頁面，把人家網站服務器拖垮，所以對某個網站都會設定一個抓取速度的上限，crawl rate limit，也就是服務器能承受的上限，在這個速度限制內，蜘蛛抓取不會拖慢服務器、影響用戶訪問。
??服務器反應速度夠快，這個速度限制就上調一點，抓取加快，服務器反應速度下降，速度限制跟著下降，抓取減慢，甚至停止抓取。
??所以，抓取速度限制是搜索引擎“能”抓取的頁面數。
??抓取份額是由什么決定的？
??抓取份額是考慮抓取需求和抓取速度限制兩者之后的結果，也就是搜索引擎“想”抓，同時又“能”抓的頁面數。
??網站權重高，頁面內容質量高，頁面夠多，服務器速度夠快，抓取份額就大。
??小網站沒必要擔心抓取份額
??小網站頁面數少，即使網站權重再低，服務器再慢，每天搜索引擎蜘蛛抓取的再少，通常至少也能抓個幾百頁，十幾天怎么也全站抓取一遍了，所以幾千個頁面的網站根本不用擔心抓取份額的事。數萬個頁面的網站一般也不是什么大事。每天幾百個訪問要是能拖慢服務器，SEO就不是主要需要考慮的事了。
??大中型網站經常需要考慮抓取份額
??幾十萬頁以上的大中型網站，可能要考慮抓取份額夠不夠的問題。
??抓取份額不夠，比如網站有1千萬頁面，搜索引擎每天只能抓幾萬個頁面，那么把網站抓一遍可能需要幾個月，甚至一年，也可能意味著一些重要頁面沒辦法被抓取，所以也就沒排名，或者重要頁面不能及時被更新。
??要想網站頁面被及時、充分抓取，首先要保證服務器夠快，頁面夠小。如果網站有海量高質量數據，抓取份額將受限于抓取速度，提高頁面速度直接提高抓取速度限制，因而提高抓取份額。
??百度站長平臺和Google Search Console都有抓取數據。如下圖某網站百度抓取頻次：
crawl-stats-1
??上圖是SEO每天一貼這種級別的小網站，頁面抓取頻次和抓取時間（取決于服務器速度和頁面大小）沒有什么大關系，說明沒有用完抓取份額，不用擔心。
??有的時候，抓取頻次和抓取時間是有某種對應關系的，如下圖另一個大些的網站：
crawl-stats-2
??可以看到，抓取時間改善（減小頁面尺寸、提高服務器速度、優化數據庫），明顯導致抓取頻次上升，使更多頁面被抓取收錄，遍歷一遍網站更快速。
??Google Search Console里更大點站的例子：
crawl-stats-3
??最上面的是抓取頁面數，中間的是抓取數據量，除非服務器出錯，這兩個應該是對應的。最下面的是頁面抓取時間。可以看到，頁面下載速度夠快，每天抓取上百萬頁是沒有問題的。
??當然，像前面說的，能抓上百萬頁是一方面，搜索引擎想不想抓是另一方面。
??大型網站另一個經常需要考慮抓取份額的原因是，不要把有限的抓取份額浪費在無意義的頁面抓取上，導致應該被抓取的重要頁面卻沒有機會被抓取。
??浪費抓取份額的典型頁面有：
??大量過濾篩選頁面。這一點，幾年前關于無效URL爬行索引的帖子里有詳細討論。
??站內復制內容
??低質、垃圾內容
??日歷之類的無限個頁面
??上面這些頁面被大量抓取，可能用完抓取份額，該抓的頁面卻沒抓。
??怎樣節省抓取份額？
??當然首先是降低頁面文件大小，提高服務器速度，優化數據庫，降低抓取時間。
??然后，盡量避免上面列出的浪費抓取份額的東西。有的是內容質量問題，有的是網站結構問題，如果是結構問題，最簡單的辦法是robots文件禁止抓取，但多少會浪費些頁面權重，因為權重只進不出。
??某些情況下使用鏈接nofollow屬性可以節省抓取份額。小網站，由于抓取份額用不完，加nofollow是沒有意義的。大網站，nofollow是可以在一定程度上控制權重流動和分配的，精心設計的nofollow會使無意義頁面權重降低，提升重要頁面權重。搜索引擎抓取時會使用一個URL抓取列表，里面待抓URL是按頁面權重排序的，重要頁面權重提升，會先被抓取，無意義頁面權重可能低到搜索引擎不想抓取。
??最后幾個說明：
??鏈接加nofollow不會浪費抓取份額。但在Google是會浪費權重的。
??noindex標簽不能節省抓取份額。搜索引擎要知道頁面上有noindex標簽，就得先抓取這個頁面，所以并不節省抓取份額。
??canonical標簽有時候能節省一點抓取份額。和noindex標簽一樣，搜索引擎要知道頁面上有canonical標簽，就得先抓取這個頁面，所以并不直接節省抓取份額。但有canonical標簽的頁面被抓取頻率經常會降低，所以會節省一點抓取份額。
??抓取速度和抓取份額不是排名因素。但沒被抓取的頁面也談不上排名。
標題：搜索引擎蜘蛛抓取配額是什么？
網址：http://www.hemadj.cn/833.html
作者：合肥良馬網絡科技有限公司 版權所有，轉載請注明出處，并以鏈接形式注明。
本文標簽：搜索引擎
聲明：本頁內容由合肥良馬網絡科技有限公司通過網絡收集編輯和原創所得，所有資料僅供用戶參考；本站不擁有所有權，也不承認相關法律責任。如您認為本網頁中有涉嫌抄寫的內容，請及時與我們聯系進行舉報，并提供相關證據，工作人員會在5個工作日內聯系您，一經查實，本站將立刻刪除涉嫌侵權內容。如果您對SEO優化核心技術文章感興趣，請點擊查看網絡推廣和網站制作的相關文章，請關注良馬科技官網(www.hemadj.cn)
網站模板演示站
企業網站制作 最新文章
- 合肥小程序開發制作需要多少錢
- 合肥注冊微信公眾號多少錢
- 合肥小程序開發公司這么多應該怎···
- 合肥微信公眾號（訂閱號和服務號···
- 合肥網絡公司告訴你軟文外鏈該怎···
- 合肥良馬網絡公司簽約安徽潤恩特···
- 合肥網站SEO優化推廣是怎么收···
- 想找一家靠譜的本地合肥網站制作···
- 合肥網站推廣軟文，怎么通過軟文···
- 合肥企業百家號運營服務之基礎套···
- 合肥公眾號代運營需要多少錢
- 合肥微信公眾號運營多少錢
- 怎么樣通過微信公眾號代運營進行···
- 合肥微信服務號運營多少錢
- 合肥小程序開發公司應該怎么樣來···
- 合肥小程序開發做個花店小程序要···
- 打開網站絕對路徑出現404錯誤···
- 揚子電熱水器
- 延旭燒烤
- 肥西縣肥西大光明眼鏡店
熱門新聞
- 合肥微信公眾號（訂閱號和服務號···
- 合肥網絡公司告訴你軟文外鏈該怎···
- 合肥良馬網絡公司簽約安徽潤恩特···
- 合肥網站SEO優化推廣是怎么收···
- 想找一家靠譜的本地合肥網站制作···
- 合肥網站推廣軟文，怎么通過軟文···
- 合肥企業百家號運營服務之基礎套···
- 合肥注冊微信公眾號多少錢
- 合肥小程序開發制作需要多少錢
- 合肥小程序開發公司這么多應該怎···
- 打開網站絕對路徑出現404錯誤···
- 企業網絡運營推廣應該選擇哪些渠···
- 當下互聯網到底在缺少什么？網絡···
- 保險行業的網絡推廣營銷應該怎么···
- 中小企業的網絡推廣應該怎么做
- 網站分類目錄還有用嗎
- 網站分類目錄可以有效的提高網站···
- 網站SEO優化中外鏈應該怎么做···
- 合肥百度愛采購一年多少錢
- 合肥企業網站網絡營銷推廣應該怎···
-
5000家企業用戶信賴之選
-
2013年度工商注冊企業
-
98%以上的客戶續費率
-
7x8小時客服支持
Copyright 2013-2025 All Rights Reserved. 合肥良馬網絡科技有限公司 免責聲明 營業執照 
皖公網安備 34010402701667號