items tagged with Bot

Unter Bots versteht man Dienstprogramme die automatisch Webseiten durchsuchen und dabei Informationen sammeln. Ein Beispiel für einen Bot sind "Webcrawler", die sich über Links durch das Internet "hangeln" und die Inhalte der gefundenen Webseiten auswerten. Dieses Verfahren wird z.B. von Suchmaschinen verwendet.

Unter Googelbot ist der Roboter von Google zu verstehen. Diese logische Riesenkrake greift Stück für Stück die Seiten im Internet ab und leitet sie dem Index zu. Ein Fachausdruck für dieses Verfahren ist "Crawl". Der Roboter wird auch "Crawler" genannt. Für diesen Roboter kann man auch Futter hinterlegen. Die Datei "Robots.txt" enthält Anweisungen für den Gast. Der Gast identifiziert sich übrigens als "Googlebot". Man kann seine Seite so gestalten, dass dem Gast ein anderes Menü vorgesetzt wird als den normalen Kunden. Man kann ihm eine Werbefreie Site vorgaukeln.