Robots.txt kurz erklärt

Die Datei robots.txt ist eine Textdatei, die auf dem Server einer Website gespeichert werden kann. Sie legt fest, ob und welche Unterseiten der Website die Crawler von Suchmaschinen besuchen und in ihren Index aufnehmen dürfen.

Dadurch können bestimmte Unterseiten vom Suchergebnis ausgeschlossen werden.

Beispiel: Man kann über die Datei robots.txt alle Archivinhalte eine Website vom Suchergebnis ausschließen.

Einige Suchmaschinen-Crawler ignorieren jedoch die Datei robots.txt. Daher sollten Unterseiten, die auf keinen Fall in Suchmaschinen auftauchen dürfen, passwortgeschützt werden.