怎樣建設對搜索引擎比較友好的站點 二維碼
452
除robots外其它禁止百度收錄的方法 nofollow：禁止搜索引擎跟蹤本頁面上的鏈接 如果您不想搜索引擎追蹤此網(wǎng)頁上的鏈接，且不傳遞鏈接的權重，請將此元標記置入網(wǎng)頁的<HEAD> 部分：<meta name="robots" content="nofollow"> 如果您不想百度追蹤某一條特定鏈接，百度還支持更精確的控制，請將此標記直接寫在某條鏈接上：<a href="signin.php" rel="nofollow">signin</a> 要允許其他搜索引擎跟蹤，但僅防止百度跟蹤您網(wǎng)頁的鏈接，請將此元標記置入網(wǎng)頁的<HEAD> 部分：<meta name="Baiduspider" content="nofollow"> noarchive：禁止搜索引擎在搜索結果中顯示網(wǎng)頁快照 要防止所有搜索引擎顯示您網(wǎng)站的快照，請將此元標記置入網(wǎng)頁的<HEAD>部分：<meta name="robots" content="noarchive"> 要允許其他搜索引擎顯示快照，但僅防止百度顯示，請使用以下標記：<meta name="Baiduspider" content="noarchive"> 注：此標記只是禁止百度顯示該網(wǎng)頁的快照，百度會繼續(xù)為網(wǎng)頁建索引，并在搜索結果中顯示網(wǎng)頁摘要。 使用robots巧妙避免蜘蛛黑洞 對于百度搜索引擎來說，蜘蛛黑洞特指網(wǎng)站通過極低的成本制造出大量參數(shù)過多、內(nèi)容類同但url不同的動態(tài)URL ，就像一個無限循環(huán)的“黑洞“，將spider困住。spider浪費了大量資源抓取的卻是無效網(wǎng)頁。 如很多網(wǎng)站都有篩選功能，通過篩選功能產(chǎn)生的網(wǎng)頁經(jīng)常會被搜索引擎大量抓取，而這其中很大一部分是檢索價值低質(zhì)的頁面。如“500-1000之間價格的租房”，首先網(wǎng)站（包括現(xiàn)實中）上基本沒有相關資源，其次站內(nèi)用戶和搜索引擎用戶都沒有這種檢索習慣。這種網(wǎng)頁被搜索引擎大量抓取，只能是占用網(wǎng)站寶貴的抓取配額，那么該如何避免這種情況呢？ 1. 我們以北京美團網(wǎng)為例，看看美團網(wǎng)是如何利用robots巧妙避免這種蜘蛛黑洞的： 2. 對于普通的篩選結果頁，使用了靜態(tài)鏈接，如： 3. http://bj.meituan.com/category/zizhucan/weigongcun 4. 同樣是條件篩選結果頁，當用戶選擇不同排序條件后，會生成帶有不同參數(shù)的動態(tài)鏈接，而且即使是同一種排序條件（如：都是按銷量降序排列），生成的參數(shù)也都是不同的。如：http://bj.meituan.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhekhttp://bj.meituan.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c 對于美團網(wǎng)來說，只讓搜索引擎抓取篩選結果頁就可以了，而各種帶參數(shù)的結果排序頁面則通過robots規(guī)則拒絕提供給搜索引擎。在robots.txt的文件用法中有這樣一條規(guī)則：Disallow: /*?* ，即禁止搜索引擎訪問網(wǎng)站中所有的動態(tài)頁面。美團網(wǎng)恰是通過這種方式，對spider優(yōu)先展示高質(zhì)量頁面、屏蔽了低質(zhì)量頁面，為spider提供了更友好的網(wǎng)站結構，避免了黑洞的形成。 禁止百度圖片搜索收錄某些圖片的方法 503狀態(tài)碼的使用場景及與404的區(qū)別 Html狀態(tài)碼也是網(wǎng)站與spider進行交流的渠道之一，會告訴spider網(wǎng)頁目前的狀態(tài)，spider再來決定下一步該怎么做——抓or不抓or下次再來看看。對于200狀態(tài)碼大家已經(jīng)很熟了，那么我們來介紹幾種常見的失效網(wǎng)頁使用的狀態(tài)碼： 【404】404返回碼的含義是“NOT FOUND”，百度會認為網(wǎng)頁已經(jīng)失效，那么通常會從搜索結果中刪除，并且短期內(nèi)spider再次發(fā)現(xiàn)這條url也不會抓取。 【503】503返回碼的含義是“Service Unavailable”，百度會認為該網(wǎng)頁臨時不可訪問，通常網(wǎng)站臨時關閉，帶寬有限等會產(chǎn)生這種情況。對于網(wǎng)頁返回503，百度spider不會把這條url直接刪除，短期內(nèi)會再訪問。屆時如果網(wǎng)頁已恢復，則正常抓取；如果繼續(xù)返回503，短期內(nèi)還會反復訪問幾次。但是如果網(wǎng)頁長期返回503，那么這個url仍會被百度認為是失效鏈接，從搜索結果中刪除。 【301】301返回碼的含義是“Moved Permanently”，百度會認為網(wǎng)頁當前跳轉(zhuǎn)至新url。當遇到站點遷移，域名更換、站點改版的情況時，推薦使用301返回碼，盡量減少改版帶來的流量損失。雖然百度spider現(xiàn)在對301跳轉(zhuǎn)的響應周期較長，但我們還是推薦大家這么做。 一些網(wǎng)站把未建好的頁面放到線上，并且這些頁面在被百度抓取的時候返回碼是404，于是頁面被百度抓取后會被當成死鏈直接刪除。但是這個頁面在第二天或者過幾天就會建好，并上線到網(wǎng)站內(nèi)展現(xiàn)出來，但是由于之前已經(jīng)被百度當做死鏈刪除，所以要再次等這些鏈接被發(fā)現(xiàn)，然后抓取才能展現(xiàn)，這樣的操作最終會導致一些頁面在一段時間內(nèi)不會在百度出現(xiàn)。比如某個大型門戶網(wǎng)站爆出大量新聞時效性很強的專題未被百度及時收錄的問題，經(jīng)檢查驗證后發(fā)現(xiàn)就是因為頁面未建成就放置在線上，并返回404狀態(tài)碼，被百度當成死鏈刪除，造成收錄和流量損失。 對于這樣的問題，建議網(wǎng)站使用503返回碼，這樣百度的抓取器接到503返回碼后，會在隔一段時間再去訪問這個地址，在您的頁面建好上線后，就又能被重新抓取，保證頁面及時被抓取和索引，避免未建好的內(nèi)容設為404后帶來不必要的收錄和流量損失。 其它建議和總結： 1、如果百度spider對您的站點抓取壓力過大，請盡量不要使用404，同樣建議返回503。這樣百度spider會過段時間再來嘗試抓取這個鏈接，如果那個時間站點空閑，那它就會被成功抓取了 2、如果站點臨時關閉或者頁面暫未建好上線，當網(wǎng)頁不能打開時以及沒有建好時，不要立即返回404，建議使用503狀態(tài)。503可以告知百度spider該頁面臨時不可訪問，請過段時間再重試。 連通率為0的前因后果及預防補救措施 https站點如何做才能對百度友好 2015年5月25日，百度站長平臺發(fā)布公告，宣布全面放開對https站點的收錄，https站點不再需要做任何額外工作即可被百度抓收。采用了本文之前建議的https站點可以關閉http版，或者將http頁面跳轉(zhuǎn)到對應的https頁面。 百度搜索引擎目前不主動抓取https網(wǎng)頁，導致大部分https網(wǎng)頁無法收錄。但是如果網(wǎng)站一定要使用https加密協(xié)議的話該如何做到對百度搜索引擎友好呢。其實很簡單： 1，為需要被百度搜索引擎收錄的https頁面制作http可訪問版。 2，通過user-agent判斷來訪者，將Baiduspider定向到http頁面，普通用戶通過百度搜索引擎訪問該頁面時，通過301重定向至相應的https頁面。如圖所示，上圖為百度收錄的http版本，下圖為用戶點擊后會自動跳入https版本。 3，http版本不是只為首頁制作，其它重要頁面也需要制作http版本，且互相鏈接，切不要出現(xiàn)這種情況：首頁http頁面上的鏈接依然鏈向https頁面，導致Baiduspider無法繼續(xù)抓取——我們曾經(jīng)遇到這種情況，導致整個網(wǎng)點我們只能收錄一個首頁。如下面這個做法就是錯誤的：http://www.abc.com/ 鏈向https://www.adc.com/bbs/ 4，可以將部分不需要加密的內(nèi)容，如資訊等使用二級域名承載。比如支付寶站點，核心加密內(nèi)容放在https上，可以讓Baiduspider直接抓取的內(nèi)容都放置在二級域名上。 第二節(jié)：鏈接建設 買賣鏈接對站點的危害 眾所周知，搜索引擎會對站點獲得鏈接的數(shù)量和質(zhì)量進行分析，從而做出對網(wǎng)站的評價，最終影響站點在搜索結果中的表現(xiàn)。在搜索引擎看來，站點的鏈接質(zhì)量比數(shù)量更為重要，然而愈演愈烈的鏈接買賣風潮，已經(jīng)開始威脅到搜索引擎的公正性。為此百度質(zhì)量團隊推出了綠蘿算法對買賣鏈接行為進行打擊。 搜索引擎認為站點每發(fā)出一個鏈接指向另一個站點，都是一次投票行為，請您珍惜每一次投票的權力，而不是將這個權力出售，更不應該打包賣給鏈接中介公司。如果搜索引索發(fā)現(xiàn)站點有出售鏈接的行為，則會影響到站點在搜索引擎系統(tǒng)中的整體表現(xiàn)。對于廣告類的鏈接，請您使用nofollow屬性進行設置。除不出售鏈接外，您還應該關注建站程序的安全更新，及時安裝補丁程序；經(jīng)常對網(wǎng)站發(fā)出的鏈接進行檢查，看是否有多余的、非主觀意愿存在的鏈接，以免站點在不知情的情況下被黑帽SEO添加鏈接。 建議您不要企圖求助于黑帽SEO和鏈接中介公司，他們很有可能使用極不正當?shù)氖侄瘟钫军c在短時間內(nèi)獲得一定效果，但是搜索引擎有專門的程序去識別各種手段和行為，一旦被發(fā)現(xiàn)，站點會無法得到預期的效果，甚至被搜索引擎懲罰處理。最后，希望各位站長放眼于長遠的未來，不要為眼前的蠅頭小利所迷惑。將精力放在在自身內(nèi)容和品牌建設上，拓展更多良性發(fā)展的盈利模式。 內(nèi)鏈建設的大忌 在《百度搜索引擎工作原理》課程中我們提到過，Baiduspider需要知道站點里哪個頁面更重要，其中一個渠道就是內(nèi)鏈。那么內(nèi)鏈建設有哪些大忌呢： 死循環(huán)鏈接：死循環(huán)鏈接是搜索引擎蜘蛛最郁悶的事情了，往往會把搜索引擎蜘蛛卡在一個角落中，無限的循環(huán)而走不出來，不僅白白浪費蜘蛛體力，也會占用網(wǎng)站大量爬取頻率，造成有價值的網(wǎng)頁抓取不全。比如萬年歷等非常實用的工具網(wǎng)站，很多時候這些工具你都可以無限的點擊，每次點擊都產(chǎn)生一個新的url，如果你沒有屏蔽蜘蛛爬取這些內(nèi)容，那么蜘蛛有可能會被帶入到一個無限循環(huán)的境地，這樣的做法對任何一個搜索引擎都是不友好的。 還有一種就是動態(tài)、帶“？”號的url。這是由于動態(tài)網(wǎng)站的一個動態(tài)文件（如.php）可以產(chǎn)生上萬個或者無數(shù)個鏈接，如果部分php文件內(nèi)部又再次鏈向自己。蜘蛛進去就很難再爬出來。  以信載商，良心建站。遨游始終秉承“一次建站、終身維護”的宗旨，竭誠為客戶提供最優(yōu)質(zhì)的互聯(lián)網(wǎng)服務。遨游建站率先植入seo優(yōu)化理念，讓你的網(wǎng)頁更利于搜索引擎抓取，關鍵詞排名更靠前。可仿站、可定制。無論是傳統(tǒng)型企業(yè)官網(wǎng)、集團型品牌官網(wǎng)，還是營銷型網(wǎng)站、電商型網(wǎng)站、定制型網(wǎng)站、特殊行業(yè)網(wǎng)站（醫(yī)療、教育），全部搞定。 公司：網(wǎng)站建設_小程序設計_競價托管代運營公司；郵箱：1013601535@qq.com 手機：17073547034；QQ： 1013601535 在線留言咨詢，24小時內(nèi)回復
我想咨詢 *
企業(yè)名稱
手機號碼 *
您的姓名
所在城市 提交 |
網(wǎng)站建設問題
熱門標簽
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
