items tagged with Crawling

Unter Bots versteht man Dienstprogramme die automatisch Webseiten durchsuchen und dabei Informationen sammeln. Ein Beispiel für einen Bot sind "Webcrawler", die sich über Links durch das Internet "hangeln" und die Inhalte der gefundenen Webseiten auswerten. Dieses Verfahren wird z.B. von Suchmaschinen verwendet.

Der Begriff Deepcrawl steht für Tiefenindexierung einer Webseite und bedeutet, dass eine Suchmaschinen alle Unterseiten einer Website eigenständig indexiert.

Unter Deep Crawl versteht man eine Technik alle Unterseiten einer Webseite zu indizieren. Dieses Verfahren wird von Suchmaschinen benutzt. Dabei werden alle gefundenen Links auf einer Webseite, die auf eine untergeordnete Seite verweisen, weiterverfolgt und ausgewertet.

Unter Googelbot ist der Roboter von Google zu verstehen. Diese logische Riesenkrake greift Stück für Stück die Seiten im Internet ab und leitet sie dem Index zu. Ein Fachausdruck für dieses Verfahren ist "Crawl". Der Roboter wird auch "Crawler" genannt. Für diesen Roboter kann man auch Futter hinterlegen. Die Datei "Robots.txt" enthält Anweisungen für den Gast. Der Gast identifiziert sich übrigens als "Googlebot". Man kann seine Seite so gestalten, dass dem Gast ein anderes Menü vorgesetzt wird als den normalen Kunden. Man kann ihm eine Werbefreie Site vorgaukeln.

Webseiten werden von Suchmaschinen-Betreibern in den Datenbestand der Suchmaschine aufgenommen. Ob eine Website zum Beispiel von der Suchmaschine Google indexiert wurde kann man mit folgender Abfrage herrausfinden.
site:www.meineseite.de oder gefiltert: site:www.meineseite.de Filter