robots.txt (Robots Exclusion Standard)

Ein Webcrawler (Robot) liest beim Auffinden einer Webseite zuerst die Datei robots.txt im Stammverzeichnis einer Domain.
Die Datei robots.txt ist eine einfache Textdatei worüber man bestimmen kann welche Verzeichnisse/Dateien von Crawler durchsucht werden dürfen oder nicht.