Der Eintrag „noindex“ im Quelltext einer Website fordert Suchmaschinen auf, die betreffende Seite nicht in den Index aufzunehmen. Auf diese Art lässt sich die Indexierung von URLs verhindern. Das ist beispielsweise in der Suchmaschinenoptimierung (SEO) wichtig, um Duplicate Content vermeiden.
Inhalt
Wann ist der Befehl sinnvoll?
Es gibt mehrere Anwendungsfälle für den Noindex-Befehl:
- Auf einer Webseite existieren doppelte Inhalte. Da Google Duplicate Content häufig bestraft, stellt die Verwendung von Noindex eine gute Möglichkeit dar, Rankingverlusten vorzubeugen. Daneben gibt es andere Möglichkeiten, doppelte Inhalte auszuzeichnen, zum Beispiel durch Canonical Tags.
- Eine Seite wird überarbeitet. Mit dem Noindex-Befehl können Webmaster in aller Ruhe an neuen Seiten arbeiten, bevor diese indexiert werden und in den Suchergebnissen auftauchen. Dabei darf allerdings nicht vergessen werden, den Befehl rechtzeitig wieder zu entfernen. Andernfalls sind Seiten dauerhaft nicht auffindbar.
- Urheberrechte sollen geschützt werden.
Wichtig: Der Befehl verhindert nur die Aufnahme in den Index von Suchmaschinen wie Google, nicht aber das Crawlen selbst. Das stellt einen wesentlichen Unterschied zur Verwendung von robots.txt.-Dateien dar.
So wird Noindex angewendet
Für die Verwendung stehen zwei Möglichkeiten zur Verfügung:
1. Durch einen Meta-Tag im Head des Quelltextes.
Falls der allgemeine Googlebot vom Indexieren abgehalten werden soll, sieht dieser Tag folgendermaßen aus:
< meta name=“googlebot“ content=“noindex“ >
Genauso funktioniert die Verwendung für andere Crawler. Um sämtliche Suchmaschinen anzusprechen, verwenden Webmaster
< meta name=“robots“ content=“noindex“ >
Wichtig: Google setzt verschiedene Bots ein. Eine Übersicht darüber finden Webseitenbetreiber https://support.google.com/webmasters/answer/1061943?hl=de.
2. Über den Response Header der HTTP-Antwort.
Auch so lassen sich verschiedene Crawler ansprechen und von einer Indexierung abbringen.
Das Ergebnis ist in beiden Fällen dasselbe. Ausschlaggebend für die Wahl der Variante ist eher, welche für den Anwender praktischer ist.
Überprüfen lässt sich der Noindex-Befehl durch eine Site-Abfrage.
Noindex,follow VS. Noindex,nofollow
Der Befehl Noindex kann durch „follow“ bzw. „nofollow“ ergänzt werden:
1. < meta name=“robots“ content=“noindex,follow“ / > signalisiert dem Crawler, dass er die Seite nicht indexieren, aber den Links darauf folgen soll. Diese Variante bietet sich zum Beispiel bei Ergebnisseiten einer internen Suche oder paginierten Kategorie-Seiten von Online-Shops an.
Denn häufig ist es besser, solche Seiten wegen wenig Informationen und doppelten Inhalten nicht in den Index aufnehmen zu lassen. Gleichzeitig sollen die Produkte in den Kategorien indexiert werden. Ein anderer Anwendungsfall ist eine grafisch wenig attraktive HTML-Sitemap.
2. < meta name=“robots“ content=“noindex,nofollow“ / > findet wenig Verwendung. Der Befehl untersagt Crawlern, den Links auf der Seite zu folgen. Er kann zu Schwierigkeiten beim Crawling von Webseiten führen.
Noindex oder robots.txt: Wann passt was?
Neben dem Noindex-Befehl gibt es die Möglichkeit, Crawler durch robots.txt-Dateien vom Crawlen einer Seite bzw. spezieller Inhalte abzuhalten. Allerdings besteht dabei das Risiko, dass die betreffende Seite trotzdem in den Suchergebnissen auftaucht, wenn andere Seiten darauf verlinken.
Google selbst rät dazu, robots.txt-Dateien nur zu verwenden, um
- den Crawling-Traffic zu regulieren
- zu verhindern, dass Bild-, Video- oder Audiodateien in den SERPs angezeigt werden
- wenig wichtige Ressourcendateien zu blockieren
Nicht ratsam ist es, Noindex und robots.txt zu verwenden. In einem solchen Fall ist der Crawler nicht in der Lage, den Noindex-Befehl zu erkennen. Somit besteht wieder das Risiko, dass die Seite ungewollt in den Suchergebnissen auftaucht.