Internet-Lexikon | |
| Begriffe mit dem Kontext Internet | |
| Hier können Sie nach Eintragungen suchen. | |
|
Begriff hinzufügen | |
Alle | A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | R | S | T | U | V | W | X | Y | Z
| |
| Robot | (oder kurz Bot) ist ein kleines Programm das selbstständig das Internet durchforstet, die Seiten auswertet und indiziert. Suchmaschinen benutzen Robots um damit ihre Datenbank zu füllen. Man kann bestimmte Bereiche seiner Webseite vor Indizierung durch Robots schützen (die Seiten können dann in Suchmaschinen nicht gefunden werden), indem man Ausschlussbedingungen in die Datei robots.txt schreibt. |
Alle | A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | R | S | T | U | V | W | X | Y | Z
| |
