items tagged with Googelbot

Unter Googelbot ist der Roboter von Google zu verstehen. Diese logische Riesenkrake greift Stück für Stück die Seiten im Internet ab und leitet sie dem Index zu. Ein Fachausdruck für dieses Verfahren ist "Crawl". Der Roboter wird auch "Crawler" genannt. Für diesen Roboter kann man auch Futter hinterlegen. Die Datei "Robots.txt" enthält Anweisungen für den Gast. Der Gast identifiziert sich übrigens als "Googlebot". Man kann seine Seite so gestalten, dass dem Gast ein anderes Menü vorgesetzt wird als den normalen Kunden. Man kann ihm eine Werbefreie Site vorgaukeln.