robots.txt – 30 Jahre Hausregeln für Websites

Der Robots Exclusion Standard regelt, wer automatisiert Website-Inhalte abgrasen darf – und ist in Zeiten von ChatGPT so aktuell wie lange nicht mehr.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

*
*