"A legfontosabb keresőmotorok (a Google, Yahoo és a Bing) úgynevezett crawlereket használnak a feltérképezendő weboldalak beindexelésére. Ezek a robotok a hivatkozások mentén, egyfajta robotizált böngészőként járják a webet és regisztrálják a talált oldalak tartalmát, hivatkozásait, illetve gyűjtik össze az új weboldalakat. Ez azt jelenti, hogy azok az oldalak, melyekre a már a keresőkben megtalálható bármely oldalról mutat legalább egy hivatkozás, automatikusan belekerülnek a keresők adatbázisába, velük kapcsolatban semmilyen további teendő sincs.

Vannak azonban olyan weboldalak, különösen a dinamikusan, régebbi szerkesztőségi rendszerek által generáltak között, melyeket a keresők nem indexelik be.

Ennek oka lehet, ha a crawler nem tudja felmérni, hogy a generált dinamikus lapok száma mekkora lehet. Miután nem akar végtelen ciklusba kerülni, adott mélység után megáll.

Helytelen azonban azt mondani, hogy egy weblapot keresőre optimalizálunk. Az optimalizálás ugyanis adott kulcsszavakra vonatkozik, amelyekre a weblapunk csak egy bizonyos oldalát optimalizáljuk. Ugyanígy a PageRank is csak egy adott oldalra vonatkozik, nem az egész weblapra." -Wikipedia-