• 
• 
• 
• 
• 
• 
• 

知識(shí)普及 ? 如何使蜘蛛逆向爬行索引

如何使蜘蛛逆向爬行索引

奈薇網(wǎng)站建設(shè) 于2020-09-07 12:09發(fā)表 閱讀次數(shù) 4125次

首先，我們要來(lái)個(gè)免責(zé)聲明-他們?cè)?a href="http://news.dlr6.cn/" target="_blank" title="網(wǎng)站設(shè)計(jì)">網(wǎng)站設(shè)計(jì)’的詳細(xì)內(nèi)容'>青島網(wǎng)站設(shè)計(jì)中并不一定是必要的-但以防萬(wàn)一…但你必須注意的是，這些是一個(gè)概念化的東西，至少我是這樣認(rèn)為的，還沒(méi)有進(jìn)行實(shí)際的測(cè)試和實(shí)踐證明。 　　蜘蛛的逆向爬行…至少我第一次起這個(gè)名字的時(shí)候我是這樣想的。這種想法來(lái)源于很多的地方： 　　網(wǎng)站的頁(yè)面的深度如果很高的話(huà)那對(duì)爬行和索引來(lái)說(shuō)都是一個(gè)挑戰(zhàn)，因?yàn)樗麄兊慕Y(jié)構(gòu)很深，擁有大量的頁(yè)面，會(huì)有爬行的障礙(例如那些大量基于參數(shù)的URL或者那些被認(rèn)為沒(méi)有什么價(jià)值的頁(yè)面，這種情況會(huì)經(jīng)常出現(xiàn)在一些電子商務(wù)的網(wǎng)站。) 　　或者一個(gè)網(wǎng)站希望能夠盡可能的充分并迅速的被索引(也許一個(gè)網(wǎng)站添加了新的內(nèi)容，它的URL就會(huì)發(fā)生戲劇化的改變，盡管301已經(jīng)被定位了，或者這是一個(gè)新的站點(diǎn))。 　　因此，怎樣才能使網(wǎng)站能夠被正常的爬行和索引?通常是通過(guò)以下的幾種方式： 　　發(fā)現(xiàn)：搜索引擎蜘蛛會(huì)根據(jù)鏈接進(jìn)入到你的網(wǎng)站 　　提交：一個(gè)站長(zhǎng)會(huì)把站點(diǎn)和頁(yè)面提交給搜索引擎 　　XML網(wǎng)站地圖：一個(gè)站長(zhǎng)給他們的網(wǎng)站創(chuàng)建一個(gè)XML網(wǎng)站地圖，并通過(guò)搜索引擎使他們變得有效，或者就把它放在網(wǎng)站的根目錄作為一個(gè)網(wǎng)站地圖或者利用ROBOTS文件來(lái)進(jìn)行自動(dòng)搜索。 　　這些方法都是優(yōu)點(diǎn)和缺點(diǎn)的，但是他們至少解決了如何讓蜘蛛進(jìn)入他們的站點(diǎn)，通過(guò)使用XML網(wǎng)站地圖，可以幫助蜘蛛越過(guò)一些爬行的障礙。但是它也不是完全準(zhǔn)確的，但是我認(rèn)為這是一個(gè)自上而下的路線(xiàn)，像是這樣的… 　　無(wú)論是直接還是間接，主頁(yè)被發(fā)現(xiàn)了。那么蜘蛛就會(huì)按照他們自己的路線(xiàn)進(jìn)行爬行。從頂級(jí)的導(dǎo)航到第二層讓后到子導(dǎo)航，爬行到頂級(jí)的分類(lèi)頁(yè)面，通過(guò)子分類(lèi)的界面，然后到更深的產(chǎn)品和信息頁(yè)面。反過(guò)來(lái)說(shuō)，你想進(jìn)行索引的這些頁(yè)面同時(shí)占領(lǐng)了頭部和長(zhǎng)尾的搜索。這些也很有可能是產(chǎn)生交易或者是轉(zhuǎn)化的頁(yè)面。 　　蜘蛛來(lái)到你頁(yè)面的頻率是多少?它們一次性通常會(huì)爬多少頁(yè)面?新的頁(yè)面會(huì)多久才會(huì)被發(fā)現(xiàn)和抓取?相對(duì)而言舊的頁(yè)面會(huì)多久被發(fā)現(xiàn)和抓取?本質(zhì)上來(lái)說(shuō)，應(yīng)該平衡抓取，這就解釋了為什么排除重復(fù)性?xún)?nèi)容的重要性。你不想心愛(ài)的蜘蛛把時(shí)間浪費(fèi)在爬過(guò)和收錄過(guò)的內(nèi)容。 　　當(dāng)你為一些大型的網(wǎng)站指出這些問(wèn)題的話(huà)，你發(fā)現(xiàn)想讓蜘蛛去爬行和喜歡的URL實(shí)在是多的讓人覺(jué)得可怕，即使沒(méi)有那些隱藏著的爬行障礙。請(qǐng)記住，甚至是XML網(wǎng)站地圖，每個(gè)網(wǎng)站地圖最多只能包括50000個(gè)URL，最少20個(gè)單獨(dú)的網(wǎng)站地圖的話(huà)加起來(lái)就會(huì)有1000000個(gè)頁(yè)面。 　　要說(shuō)的是，我要提醒大家這種情況并不適用于所有的網(wǎng)站和情況。這種“蜘蛛逆向爬行”的基礎(chǔ)和使用XML網(wǎng)站地圖是有些不同的。典型的XML網(wǎng)站地圖策略是要提交每一個(gè)URL，就是希望每個(gè)頁(yè)面都能被索引。這也許不是最好的策略，但是這是另外一個(gè)問(wèn)題了。即使那樣，這些策略往往會(huì)給首頁(yè)過(guò)多的權(quán)重和優(yōu)先權(quán)。 　　恰恰相反，我們應(yīng)該把網(wǎng)站地圖的重點(diǎn)放在一些低等級(jí)的頁(yè)面上。通常都是單個(gè)的產(chǎn)品和信息頁(yè)面。這種思想就是讓蜘蛛去那些最深層最難爬的頁(yè)面。 　　它們之后還會(huì)去哪兒呢?他們會(huì)按照蜘蛛做的那樣做，開(kāi)始爬行。想想這些深層次的頁(yè)面。但愿他們內(nèi)容豐富并且富有關(guān)鍵詞。他們也許包括一些可以導(dǎo)航的元素，即使不是完全的高等級(jí)的導(dǎo)航，至少是一些分類(lèi)導(dǎo)航。如果網(wǎng)站有類(lèi)似的面包屑導(dǎo)航的話(huà)，我們可以直接喂給蜘蛛這些面包屑。 　　在這點(diǎn)上，我們應(yīng)該更好的以更多的方式給蜘蛛展現(xiàn)我們的網(wǎng)站。這個(gè)觀念也許并不是關(guān)于逆向爬行的，反而是關(guān)于讓蜘蛛從兩個(gè)底端開(kāi)始爬行，這樣的爬行最終也能到頂部的導(dǎo)航。 　　我們通常會(huì)假設(shè)蜘蛛會(huì)很自然的首先去找首頁(yè)然后順勢(shì)往下爬遍整個(gè)網(wǎng)站。和那些多樣化的產(chǎn)品等級(jí)的頁(yè)面相比從主頁(yè)到頂層頁(yè)面有多少個(gè)唯一的URL?我的猜想是因?yàn)轫?yè)面深度的不同，兩個(gè)等級(jí)的頁(yè)面的抓取數(shù)量是有很大的不同的。 　　正如我提到的，我認(rèn)為這是一個(gè)低風(fēng)險(xiǎn)的路線(xiàn)。無(wú)論有沒(méi)有xml網(wǎng)站地圖，蜘蛛們都能找到頁(yè)面的。他們會(huì)找到不在網(wǎng)站地圖中的頁(yè)面，因此即使是一個(gè)沒(méi)有首頁(yè)和頂級(jí)頁(yè)面的網(wǎng)站地圖，也不會(huì)遺漏掉這些頁(yè)面。 　　在自然環(huán)境下，也許不會(huì)出現(xiàn)這些問(wèn)題。蜘蛛會(huì)迅速爬過(guò)整個(gè)網(wǎng)站。一旦他們發(fā)現(xiàn)了鏈接他們就會(huì)追根究底。也許這些頁(yè)面埋得太深了，他們有點(diǎn)兒不太喜歡。 　　無(wú)論如何，讓這些網(wǎng)頁(yè)被爬到和索引是很重要的，對(duì)于我的站來(lái)說(shuō)這的確是一個(gè)艱難的過(guò)程?；蛟S這只是一個(gè)時(shí)間問(wèn)題。至少我要去嘗試。一旦像我想象的那樣整個(gè)網(wǎng)站的那個(gè)等級(jí)的頁(yè)面都被建立了索引，我就可以繼續(xù)并在XML網(wǎng)站地圖中添加其他的URL，或者我可以做個(gè)實(shí)驗(yàn)，不把網(wǎng)站地圖放在網(wǎng)站里。

如何使蜘蛛逆向爬行索引相關(guān)標(biāo)簽：做網(wǎng)站，設(shè)計(jì)網(wǎng)站，網(wǎng)站建設(shè)公司，網(wǎng)站推廣

相關(guān)熱點(diǎn)推薦

青島網(wǎng)站設(shè)計(jì)哪家好 常見(jiàn)的排版方式與表現(xiàn)類(lèi) 優(yōu)化用戶(hù)體驗(yàn)，讓網(wǎng)站呈 影響網(wǎng)站排名的一些不必 青島網(wǎng)站設(shè)計(jì)容易犯的幾 用戶(hù)體驗(yàn)中溝通的技巧 如何計(jì)算搜索引擎關(guān)鍵詞 網(wǎng)頁(yè)設(shè)計(jì)中的版式原理- 做網(wǎng)站的一些定律 為什么網(wǎng)站制作價(jià)格越來(lái) 網(wǎng)頁(yè)配色密碼 響應(yīng)式網(wǎng)頁(yè)你了解嗎？ 如何創(chuàng)建一個(gè)用戶(hù)體驗(yàn)良 店鋪推廣之SEO入門(mén) 寫(xiě)給在職設(shè)計(jì)師們 分類(lèi)目錄 一個(gè)好的網(wǎng)站應(yīng)該同時(shí)具 網(wǎng)頁(yè)設(shè)計(jì)制作應(yīng)注意的問(wèn) 網(wǎng)頁(yè)界面設(shè)計(jì)教程四：色 化妝品的網(wǎng)站策劃分析 網(wǎng)站設(shè)計(jì)如何做好風(fēng)格統(tǒng) 2020年主流網(wǎng)頁(yè)的設(shè) 網(wǎng)站重建怎么保護(hù)已有的 頻繁改版引發(fā)的合意性思 迅速提高網(wǎng)站流量的方法 企業(yè)建站誤區(qū) 防止IE主頁(yè)被修改的辦 WEB設(shè)計(jì)經(jīng)驗(yàn) 網(wǎng)站推廣技巧之鏈接策略 如何做出創(chuàng)意設(shè)計(jì)的網(wǎng)站 網(wǎng)頁(yè)的版式設(shè)計(jì)—文字的 平度網(wǎng)站設(shè)計(jì)公司哪家好 搜索引擎的算法 一個(gè)網(wǎng)站，5個(gè)目標(biāo) 軟件與網(wǎng)站設(shè)計(jì)的區(qū)別 如何挑選專(zhuān)業(yè)的網(wǎng)站建設(shè) 個(gè)人主頁(yè)作用 生動(dòng)的設(shè)計(jì)

奈薇建站網(wǎng)青島網(wǎng)站建設(shè)公司/青島網(wǎng)站制作公司，專(zhuān)業(yè)提供"氣質(zhì)"型網(wǎng)站建設(shè)及精美網(wǎng)站制作服務(wù)，同時(shí)歡迎各地網(wǎng)站建設(shè)公司、網(wǎng)站制作公司代理我們的奈薇建站系統(tǒng)共同發(fā)展

熱點(diǎn)地區(qū)：青島網(wǎng)站建設(shè)價(jià)格 青島即墨網(wǎng)站制作公司 開(kāi)發(fā)區(qū)信息港 山東在線(xiàn)門(mén)戶(hù)