robots.txt auf Diät: Ein einziger Befehl soll alle KI-Trainer stoppen
Veröffentlicht am 08.11.2026
Wenn Sie eine eigene Website betreiben, möchten Sie vielleicht nicht, dass Ihre Texte und Bilder ungefragt in das Training von KI-Programmen einfließen. Google kündigt nun eine Neuerung an, die Ihnen diese Entscheidung deutlich erleichtern soll.
Was die robots.txt ist
Die robots.txt ist eine einfache Textdatei, die auf Ihrem Webserver liegt. Sie teilt automatischen Programmen, sogenannten Crawlern, mit, welche Seiten sie aufrufen dürfen. Diese Regeln gibt es seit 1994. Früher ging es vor allem um Suchmaschinen. Heute dient die Datei auch als Hinweis, dass Sie Ihre Inhalte nicht für KI-Training freigeben. Wichtig: Die Datei ist eine Bitte, keine Sperre. Seriöse Anbieter halten sich daran, andere ignorieren sie.
Ein Sammelzeichen statt vieler Einzelregeln
Bisher mussten Sie jeden KI-Anbieter einzeln eintragen, etwa OpenAI, Anthropic oder Google. Künftig soll ein gemeinsames Zeichen für KI-Training reichen. Es wird in einer Zeile hinterlegt und gilt für alle Anbieter, die es unterstützen. Die Arbeit daran läuft bei der Standardisierungsorganisation IETF. Die Regeln dafür sind noch nicht ganz fertig.
Wichtig für Sie: Was passiert ohne Eintrag?
Programme, die das neue Zeichen nicht kennen, ignorieren den Block einfach. Wenn Sie also nichts ändern, bleibt alles beim Alten. Wer die neue Regel setzt, sollte prüfen, ob das Ergebnis passt.
Achtung bei Google
Laut Google wertet das Unternehmen einen allgemeinen Widerspruch so, als hätten Sie Googles eigenes KI-Token gesperrt. Wenn Sie Google dagegen ausdrücklich erlauben, können Ihre Seiten in Antworten von Gemini auftauchen und dort Klicks bringen. Das ist ein echter Abwägungspunkt: Wer alles sperrt, verzichtet unter Umständen auf Besucher. Mehr dazu, wie sich Google-Suche auf den Verkehr einer Website auswirkt, lesen Sie in Wenn Google die Besucher nicht mehr weiterleitet.
Was Sie jetzt tun können
- Sehen Sie sich Ihre robots.txt an, bevor 2027 die Auswertung startet.
- Entscheiden Sie bewusst, ob Sie KI-Training grundsätzlich ablehnen.
- Prüfen Sie für Google gesondert, ob eine Freigabe für Sie sinnvoll ist.
Eine Grenze bleibt
Die Datei ersetzt keine technische Sperre. Wer sich nicht an die Regeln hält, wird dadurch nicht gestoppt. Die neue Lösung ist deshalb ein wichtiger Schritt, aber kein vollständiger Schutz.