Was ist ein X-Robots-Tag?

Der X-Robots-Tag ist ein HTTP-Response-Header, der Suchmaschinen mitteilt, wie sie mit einer Ressource umgehen sollen. Er erfüllt dieselbe Funktion wie ein Meta-Robots-Tag im HTML, funktioniert aber auch für Dateitypen, die keinen HTML-Code haben, also für PDFs, Bilder, Word-Dokumente oder JavaScript-Dateien.

Das ist der entscheidende Unterschied: Ein <meta name="robots" content="noindex"> im HTML-Code ist nur in HTML-Seiten möglich. Wenn du einer PDF-Datei sagen willst, dass sie nicht indexiert werden soll, brauchst du den X-Robots-Tag als HTTP-Header.

Wann brauchst du den X-Robots-Tag?

Die häufigsten Anwendungsfälle: Du hast Produktkataloge als PDF, die nicht in der Suche erscheinen sollen. Interne Dokumente, die technisch öffentlich erreichbar sind, aber nicht indexiert werden sollen. Bilder oder Mediendateien aus Staging-Umgebungen, die versehentlich gecrawlt werden.

Auch für HTML-Seiten kann der X-Robots-Tag sinnvoll sein, wenn du keine Möglichkeit hast, den HTML-Code der Seite direkt zu bearbeiten, etwa bei bestimmten Proxy-Setups oder Third-Party-Integrationen.

Wie wird der X-Robots-Tag gesetzt?

Der Header wird serverseitig gesetzt, in der .htaccess-Datei (Apache) oder der nginx-Konfiguration, oder programmatisch per Script.

Beispiel für .htaccess:

<FilesMatch "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

Damit erhalten alle PDF-Dateien auf dem Server den entsprechenden Header. Google liest diesen Header beim Crawlen und respektiert die Direktive.

Mögliche Werte sind dieselben wie beim Meta-Robots-Tag: noindex, nofollow, noarchive, noimageindex und Kombinationen davon. Für alle Suchmaschinen gilt all oder noindex, für spezifische Bots kannst du auch gezielter vorgehen: X-Robots-Tag: googlebot: noindex.

Du kannst den gesetzten Header mit dem Browser-Entwicklertool (Network-Tab) oder mit Online-Header-Checkern überprüfen.

Im Rahmen technischer SEO-Audits prüfen wir auch HTTP-Header auf ungewollte Direktiven. Bei der Webentwicklung setzen wir X-Robots-Tags dort, wo Meta-Tags nicht möglich sind. Beim Termin klären wir, ob das für deine spezifische Situation relevant ist.