動態(tài)網(wǎng)頁是響應(yīng)用戶使用行為時自動生成的網(wǎng)頁，在用戶發(fā)出請求之前，動態(tài)網(wǎng)頁是不存在的。動態(tài)網(wǎng)頁給網(wǎng)絡(luò)爬蟲帶來了麻煩。
舉例來說，眾所周知的搜索引擎的檢索結(jié)果頁面就是動態(tài)網(wǎng)頁。搜索引擎收到用戶提交的查詢請求后，會搜索它的數(shù)據(jù)庫，查找相關(guān)的地址，并生成一個結(jié)果頁面。這個頁面會整合查詢結(jié)果及其他信息，如搜索引擎標(biāo)識和廣告。它生成的網(wǎng)頁是一個真實(shí)的網(wǎng)頁，有惟一的URL(對大多數(shù)搜索引擎來說)，但是，如果爬蟲訪問搜索引擎站點(diǎn)，它不會發(fā)現(xiàn)該網(wǎng)頁，因?yàn)樵摼W(wǎng)頁是響應(yīng)查詢請求生成的，響應(yīng)結(jié)束后，立即被清除。
從該例可以看出，在網(wǎng)絡(luò)上有很多有用信息。但不是以靜態(tài)網(wǎng)頁形式呈現(xiàn)的。這些網(wǎng)頁必須向數(shù)據(jù)庫發(fā)出一個請求才能訪問，包括一些圖書館目錄、商業(yè)產(chǎn)品數(shù)據(jù)庫以及數(shù)字圖書館。這些通常只是被稱作“不可見的網(wǎng)絡(luò)”或者“深度網(wǎng)絡(luò)”的一部分，前一個概念已經(jīng)由Sherman和Price普及(2001)。爬蟲數(shù)據(jù)的使用者必須接受這一不可避免的局限性，即網(wǎng)絡(luò)爬蟲無法找到大量不同類型的動態(tài)網(wǎng)頁。
有趣的是，一些運(yùn)營網(wǎng)絡(luò)數(shù)據(jù)庫的信息提供商也擁有大量靜態(tài)網(wǎng)頁，甚至是數(shù)據(jù)庫的關(guān)鍵部分，因此，搜索引擎能完全地索引這些頁面。
對鏈接分析而言，未將爬蟲數(shù)據(jù)建庫已不是問題，但有一個相關(guān)問題值得注意，即有些網(wǎng)站以動態(tài)網(wǎng)頁為核心，而不是以數(shù)據(jù)庫為核心。有一些網(wǎng)絡(luò)技術(shù)可用于自動生成動態(tài)網(wǎng)頁，包括PHP技術(shù)(PHP：Hypertext Pre-processor-arecursive acronym)和ASP(Active Server Pages)技術(shù)。
動態(tài)網(wǎng)頁曾經(jīng)是爬蟲的一大難題。設(shè)計(jì)爬蟲時，通常都回避動態(tài)網(wǎng)頁(如Charkabarti，Joshi，Punera，&Pennock，2002)。識別動態(tài)網(wǎng)頁時，只需要看URL中是否出現(xiàn)問號，含問號的就是動態(tài)網(wǎng)頁。忽略動態(tài)網(wǎng)頁是因?yàn)樗鼈內(nèi)菀自斐芍┲胂葳?。蜘蛛陷阱理論上是一個無限的網(wǎng)頁集合，而蜘蛛永遠(yuǎn)不能完整地遍歷這個集合。在線日歷就是一個容易被忽略的蜘蛛陷阱，它生成的動態(tài)網(wǎng)頁中可以標(biāo)上任何日期，并包含指向后一天網(wǎng)頁的鏈接。一個爬蟲從這個日歷中找到一個網(wǎng)頁后，便會無止境地請求后一天的網(wǎng)頁。
商業(yè)搜索引擎的爬蟲通常回避這些帶問號的URL，因?yàn)檫@些URL可能會導(dǎo)致蜘蛛陷阱。Google已經(jīng)放寬了對這些站點(diǎn)的限制。Google爬蟲似乎有另一種避免蜘蛛陷阱的方法。舉例來說，它可能沿著指向帶問號URL的鏈接爬行，但不會爬取帶問號的URL，這樣便可以跳出蜘蛛陷阱的遞歸循環(huán)。
鏈接分析研究者應(yīng)當(dāng)注意，研究型的網(wǎng)絡(luò)爬蟲不能遍歷含動態(tài)網(wǎng)頁的站點(diǎn)，或者只能遍歷深度較淺的站點(diǎn)。商業(yè)搜索引擎的爬蟲也是如此。在使用爬蟲的時候，應(yīng)當(dāng)公開所使用的參數(shù)，以便其他研究者能判斷這些參數(shù)對結(jié)果的影響。遍歷參數(shù)集合列舉如下：
·拒絕訪問帶有如下子串的URL：?，cgi-bin，＆
·拒絕訪問超過最大斜線數(shù)的URL
·拒絕訪問超過最大字符數(shù)的URL
影響搜索引擎收錄就會間接影響到SEO項(xiàng)目，盡管現(xiàn)在各大搜索引擎算法對動態(tài)網(wǎng)頁的索引都有了很大的改善。但是與其等搜索引擎來改變這個事情，為什么不自己就做的很好？站點(diǎn)靜態(tài)化仍舊是SEO中非常必要的一個事情。