items tagged with Robot

Unter Bots versteht man Dienstprogramme die automatisch Webseiten durchsuchen und dabei Informationen sammeln. Ein Beispiel für einen Bot sind "Webcrawler", die sich über Links durch das Internet "hangeln" und die Inhalte der gefundenen Webseiten auswerten. Dieses Verfahren wird z.B. von Suchmaschinen verwendet.

Der Begriff Deepcrawl steht für Tiefenindexierung einer Webseite und bedeutet, dass eine Suchmaschinen alle Unterseiten einer Website eigenständig indexiert.

Unter Deep Crawl versteht man eine Technik alle Unterseiten einer Webseite zu indizieren. Dieses Verfahren wird von Suchmaschinen benutzt. Dabei werden alle gefundenen Links auf einer Webseite, die auf eine untergeordnete Seite verweisen, weiterverfolgt und ausgewertet.

Unter Googelbot ist der Roboter von Google zu verstehen. Diese logische Riesenkrake greift Stück für Stück die Seiten im Internet ab und leitet sie dem Index zu. Ein Fachausdruck für dieses Verfahren ist "Crawl". Der Roboter wird auch "Crawler" genannt. Für diesen Roboter kann man auch Futter hinterlegen. Die Datei "Robots.txt" enthält Anweisungen für den Gast. Der Gast identifiziert sich übrigens als "Googlebot". Man kann seine Seite so gestalten, dass dem Gast ein anderes Menü vorgesetzt wird als den normalen Kunden. Man kann ihm eine Werbefreie Site vorgaukeln.

Mit Indizierung bezeichnet man die Aufnahme einer Webseite in den Datenbestand einer Suchmaschine. Beim Indizieren wird in der Datenbank die Adresse der Webseite mit Begriffen (Keywords) verknüpft, die den Inhalt der Webseite beschreiben. Über diese Begriffe kann die indizierte Webseite über die Suchfunktion der Suchmaschine gefunden werden.

(oder kurz Bot) ist ein kleines Programm das selbstständig das Internet durchforstet, die Seiten auswertet und indiziert. Suchmaschinen benutzen Robots um damit ihre Datenbank zu füllen. Man kann bestimmte Bereiche seiner Webseite vor Indizierung durch Robots schützen (die Seiten können dann in Suchmaschinen nicht gefunden werden), indem man Ausschlussbedingungen in die Datei robots.txt schreibt.