Blog für PC & Internet

Der Robots-Metatag

(Beitrag vom 05.03.2010)

Dieser Metatag ist einer der Wichtigsten überhaupt. Mit ihm greift man direkt in die Arbeit der Suchmaschine ein, indem man ihr mit seiner Hilfe einiges verbietet. Dieser Tag hat eine ähnliche Bedeutung wie die Datei robots.txt, ist jedoch für den Webmaster wesentlich besser zu handhaben.
Da mehrere dieser Tags zulässig sind, kann es bei widersprüchlichen Angaben zu Konflikten kommen. Merken Sie sich daher:
Was Sie dem Robot einer Suchmaschine einmal verbieten, können Sie an anderer Stelle nicht wieder erlauben. Das gilt auch und gerade im Zusammenhang mit der robots.txt-Datei.

Der häufig anzutreffende Tag:

<meta name="robots" content="index, follow" />

macht so, in dieser Kombination grundsätzlich keinen Sinn. Index und follow sind zwar valide Ausdrücke, sie gelten jedoch bei Fehlen des Robot-Metatags insgesamt als gesetzt, weil das dann so der Standard ist. Allerdings schadet dieser Ausdruck niemandem.

Mögliche, von Google befolgte Ausdrücke sind:

Ausdruck	Bedeutung
noindex	Verbietet diese Seite in den Index aufzunehmen.
nofollow	Verbietet den Links auf dieser Seite zu folgen. Bitte nicht mit dem nofollow-Attribut an den einzelnen Links verwechseln. Dieses unterbindet lediglich die Weitergabe des Google-PRs und des Ankertextes.
none	Verbietet eine Seite zu indexieren und den Links zu folgen (noindex, nofollow = none).
noarchive	Verbietet den Zugriff des Nutzers auf die Seitenkopie im Google-Cache. Die Seite wird trotz dem gecrawlt und indexiert.
nosnippet	Verbietet Auszüge aus dem Content an Stelle des Description-Metatags zu verwenden, was auch durch noarchive erreicht wird.
noopd	Verbietet Textauszüge von DMOZ in den Suchergebnissen anzuzeigen (siehe dazu auch title-tag).

Google versteht beim Robots-Tag viele verschiedene Schreibweisen, die Schreibung in nur-Großbuchstaben, in nur-Kleinbuchstaben sowie auch gemischt.

noindex = NOINDEX = NoIndex

Sie können mehrere einzelne Tags setzen oder die einzelnen Befehle mit Komma getrennt in einem Tag zusammenfassen (Das Komma ist wichtig, ein Leerzeichen muss nicht sein.).

noindex, nofollow = noindex,nofollow

Hinweis:

Es gibt auch bösartige Robots, die sich durch einen Metatag nichts verbieten lassen.

Sinnvoller Robots-Metatag als Beispiel:

<meta name="robots" content="noindex, follow" />

Das follow-Attribut macht an dieser Stelle Sinn, da der Standard: index, follow mit erscheinen des Metatags außer Kraft gesetzt wurde. Ganz gleich, wie Google das sieht.

wichtige, weiterführende Links zu diesem Beitrag:

https://googlewebmastercentral.blogspot.de/2007/03/using-robots-meta-tag.html
https://www.robotstxt.org/meta.html