items tagged with Spider

Der Begriff Deepcrawl steht für Tiefenindexierung einer Webseite und bedeutet, dass eine Suchmaschinen alle Unterseiten einer Website eigenständig indexiert.

Unter Deep Crawl versteht man eine Technik alle Unterseiten einer Webseite zu indizieren. Dieses Verfahren wird von Suchmaschinen benutzt. Dabei werden alle gefundenen Links auf einer Webseite, die auf eine untergeordnete Seite verweisen, weiterverfolgt und ausgewertet.

(oder kurz Bot) ist ein kleines Programm das selbstständig das Internet durchforstet, die Seiten auswertet und indiziert. Suchmaschinen benutzen Robots um damit ihre Datenbank zu füllen. Man kann bestimmte Bereiche seiner Webseite vor Indizierung durch Robots schützen (die Seiten können dann in Suchmaschinen nicht gefunden werden), indem man Ausschlussbedingungen in die Datei robots.txt schreibt.