Robots.txt
Die Robots.txt-Datei ist ein kleines, textbasiertes Dokument, das auf der Wurzelverzeichnisebene der Website platziert wird. Es dient dazu, Suchmaschinen und anderen automatischen Web-Crawlern, die die Website analysieren, Anweisungen zu geben, welche Teile der Website durchsucht werden dürfen und welche nicht. Die Robots.txt-Datei kann verwendet werden, um bestimmte Seiten, Verzeichnisse oder Dateiformate von der Indexierung auszuschließen …
