Neviditeľný web

Neviditeľný web sa definuje ako textové stránky, súbory alebo ďalšie informácie prístupné prostredníctvom WWW, ktoré prieskumové stroje nedokážu alebo nechcú zahrnúť do svojho indexu

Dôvody vedúce k vytváraniu neviditeľného webu:

prieskumové stroje nedokážu indexovať dynamicky sa meniace stránky
prístup na niektoré stránky je chránený heslom
niektoré prieskumové stroje neindexujú rámce, obrázkové mapy a pod.
veľa prieskumových strojov má obmedzenie na počet indexovaných stránok z určitej domény
väčšina prieskumových strojov preferuje indexovanie populárnych stránok

Typológia neviditeľného webu

Nepriehľadný web

obsahuje súbory, ktoré môžu byť, ale z určitých príčin nie sú indexované robotmi
roboty ich z finančných dôvodov neindexujú

Súkromný web

sa skladá zo stránok, ktoré by robot dokázal zindexovať, ale správca stránky mu to neumožňuje

Špeciálny alebo vlastnícky web

ide o časť webu, ku ktorej sa dostaneme iba po splnení určitých podmienok (vyplnenie registračného formulára,..)

Skutočne neviditeľný web

pozostáva z informácií, ktoré roboty nedokážu zindexovať, pretože nie sú na ne naprogramované
väčšinou sú to PDF formáty, spúšťateľné programy, flash, komprimované súbory a pod.