Das Archiv des Internets will der Robots.txt-Datei einer Webseite künftig keine Bedeutung mehr beimessen. Der Schritt sei notwendig, weil die Datei einer echten Archivierung des Internets aus Nutzersicht entgegenstehe, schreiben die Macher. (Internet Archive, Datenschutz)
Advertise on IT Security News.
Lesen Sie den ganzen Artikel: Suchmaschinen: Internet Archive will künftig Robots.txt-Einträge ignorieren