搜索引擎不能完全地索引動態(tài)網(wǎng)站（也就是基于數(shù)據(jù)庫提供內(nèi)容的網(wǎng)站）。

　　搜索引擎處理那些太過復(fù)雜的URL結(jié)構(gòu)會產(chǎn)生很大的麻煩，包括有很多參數(shù)的URL（被很多“&”符號，“=”還有一些Session　ID，用戶ID和來源跟蹤代碼標(biāo)記）。Google的高級工程師Matt Cutts在一次Search Engine Strategies會議時說，如果URL中的變量控制在一到兩個就很安全，除非其中一個變量是以ID命名（或是類似于Session ID的變量），這樣的情況就不行了。

　　過于復(fù)雜的URL不僅對那些想要將URL發(fā)送給朋友的人很不方便，對于那些想在自己網(wǎng)站上加入一個鏈接指向那個層級很深頁面的人來說也不方便。同時這樣的URL更會給搜索引擎爬蟲帶來困難，這些對搜索引擎不友好的動態(tài)URL可能會將搜索引擎帶入“爬蟲陷阱”。

　　“爬蟲陷阱”的情況是指當(dāng)搜索引擎爬蟲根據(jù)鏈接爬行一個看起來與以前爬行的不同URL，盡管他們的內(nèi)容是一致的。

　　設(shè)想如下的例子，一個搜索引擎爬蟲來到一個網(wǎng)站，被指定了一個Session ID，然后這個ID被嵌入到以后所有在該網(wǎng)站中被爬行的頁面。下一次，一個搜索引擎爬蟲來到這個頁面，得到另一個全新的session ID，因?yàn)槟木W(wǎng)站服務(wù)器不能探測到這是同一個搜索引擎爬蟲，而且它在幾分鐘以前來過。這就導(dǎo)致了同一個頁面被索引了很多次，無論對于搜索引擎自身，或是對于搜索引擎的用戶都是很壞的結(jié)果，因?yàn)檫@些都是重復(fù)的。

　　最壞的“爬蟲陷阱”會使搜索引擎陷入一個無止境的多樣URL，但卻是同樣的一些頁面。每個搜索引擎對于URL中的參數(shù)都有自己的容忍度。解決方法是消除那些動態(tài)URL的元素，換句話說，移除所有URL中的問號，&，等號，cgi-bin，用戶ID和Session ID，將所有頁面變得讓這些爬蟲滿意。

　　一個簡介明快的URL不僅可以消除頁面索引的潛在問題，而且作為獎勵，您更可能獲得一些外鏈指向深層級頁面，因?yàn)閁RL看起來對用戶友好，穩(wěn)定，容易復(fù)制粘貼等。

　　最好的做法是將那些動態(tài)頁面用搜索引擎友好的的URL替代。不要禁不住誘惑而走捷徑，創(chuàng)建一個網(wǎng)站地圖頁面，包含所有指向這些對搜索引擎友好URL的鏈接。將剩余的鏈接完整無缺的留在那里。因?yàn)檫€沒有修改好的URL不能提升那些有搜索引擎友好URL頁面的鏈接獲益。通過降低每個URL的多樣性，您想將鏈接獲益最大化。URL的多樣性會削弱鏈接獲益，因?yàn)椴皇撬械逆溄訉橥粋€頁面“投票”。他們中的一些會分散到其它的版本的擁有不同URL的同一頁面。

　　假設(shè)您有一個動態(tài)網(wǎng)站，現(xiàn)在由于URL的問題沒有達(dá)到搜索引擎友好，但是您想要將其優(yōu)化，那么這里有三種選擇。

　　第一個選擇是用URL重寫服務(wù)器module來進(jìn)行URL重寫，比如mod_rewrite（運(yùn)用于Apache）或ISAPI_Rewrite（運(yùn)用于IIS服務(wù)器）。

　　第二種選擇時重新編寫您的電子商務(wù)平臺，使其不同“query strings”傳遞信息，而是用“path info”。換句話說，您要重新編寫腳本來尋找嵌入在目錄名字或文件名字的變量，這種方法看起來要更加復(fù)雜一點(diǎn)。

　　第三種選擇是運(yùn)用第三方提供的代理服務(wù)器。

　　通常來說第一種方法是最受歡迎的，假設(shè)您擁有IT資源來執(zhí)行，您的服務(wù)器也支持這樣的URL重寫技術(shù)。第二種方法適用于如下的情況－您不能做URL重寫但是有編程資源同時可以進(jìn)入電子商務(wù)平臺的源代碼。

　　如果由于某些原因上述兩種方法都無法實(shí)現(xiàn)的話，您可以借助第三方的處理方式，由此來自動的將URL改寫。這種方法尤其適用在“code freeze”（不允許任何改動在一部分或全部的變成代碼）期間，例如假期。

　　您可能想知道Google新的網(wǎng)站地圖項(xiàng)目會如何介入到這個問題中呢。現(xiàn)在這仍然是個不完全的解決方法，直到Google網(wǎng)站地圖支持傳遞哪些URL變體指向同一個內(nèi)容的能力。因?yàn)樗荒軐⒎稚⒃诓煌姹镜腜ageRank聚集。您可能有五種不同版本的產(chǎn)品頁面被Google索引，而網(wǎng)站地圖只會使問題惡化，因?yàn)樗鼤a(chǎn)生第六個版本，而不是將這五個版本融為一個版本而獲得更多的鏈接獲益。
不論您使用哪種方法，將URL改寫成搜索引擎友好的形式是值得的。