Indexierbarkeitsprüfer

Indexierbarkeit überprüfen
Nächste

Eine Seite kann perfekt sein, aber für die Suche unsichtbar, weil ein einzelnes Tag “noindex” sagt oder robots.txt den Crawler blockiert. Fügen Sie eine URL ein und dieser Prüfer bewertet jedes Signal, das Google verwendet, robots.txt, Meta-Robots, X-Robots-Tag-Header, kanonisches Ziel, HTTP-Status, und sagt Ihnen, ob die Seite indexierbar ist, warum und was zu ändern ist, falls nicht.

So überprüfen Sie die Indexierbarkeit

  1. 1

    Geben Sie eine URL ein

    Der Prüfer ruft die URL ab, wie es Googlebot tun würde.

  2. 2

    Es löst Weiterleitungen auf

    Eine Kette von 301/302-Weiterleitungen wird verfolgt; die endgültige URL ist die, die bewertet wird.

  3. 3

    Es liest jedes Indexierbarkeitssignal

    robots.txt-Regeln, Meta-Robots, X-Robots-Tag, kanonisch, Statuscode.

  4. 4

    Urteil und Grund

    Indexierbar / nicht indexierbar / teilweise, mit dem genauen Signal, das das Urteil verursacht hat.

Indexierbarkeitssignale und ihre Priorität

Google bewertet eine Reihe von Signalen in einer bestimmten Reihenfolge; ein einzelnes negatives Signal in der Kette reicht aus, um die Indizierung zu blockieren.

Reihenfolge der Signalbewertung

  1. HTTP-Status: 2xx erforderlich. 3xx-Ketten werden verfolgt; 4xx und 5xx beenden die Indizierung.
  2. robots.txt: Wenn die URL für Googlebot nicht erlaubt ist, wird die Seite niemals gecrawlt, was bedeutet, dass noindex-Tags darauf niemals gesehen werden.
  3. X-Robots-Tag-Header: noindex in den HTTP-Antwort-Headern blockiert die Indizierung.
  4. Meta-Robots: <meta name="robots" content="noindex"> blockiert die Indizierung.
  5. Kanonisch: Ein Kanonisch, das woanders hinweist, bedeutet, dass Google diese andere URL anstelle dessen indiziert.
  6. Inhaltsqualität und Duplikaterkennung: Google kann die Indizierung auch ohne explizite Anweisungen überspringen.

Häufige Fehler, die dies erkennt

Problem Ursache
Ganzer Abschnitt nicht indexiert Disallow:-Regel in robots.txt
Bestimmte Seite nicht indexiert noindex in Meta-Robots
Mit falscher URL indexiert Kanonisch zeigt woanders hin
Hängt bei 5xx Serverfehler unterbricht Crawl
Disallow + noindex-Konflikt Robots.txt blockiert Crawl, noindex-Tag wird nie gelesen
Staging leitet auf Produktion weiter X-Robots-Tag: noindex aus einer Testumgebung übrig

Die robots.txt + noindex Falle

Wenn Sie eine URL in robots.txt Disallow: setzen, crawlt Google sie niemals, sodass es niemals ein noindex-Tag sieht. Die URL kann dennoch in den Suchergebnissen als “leerer” Eintrag mit nur der URL und ohne Beschreibung erscheinen. Um eine URL ordnungsgemäß aus dem Index zu entfernen, erlauben Sie das Crawlen und verwenden Sie noindex, blockieren Sie das Crawlen erst, nachdem Google sie de-indexiert hat.

Testen aus der Perspektive von Googlebot

Der Prüfer sendet den Googlebot-Benutzeragenten, sodass alle serverseitigen “Crawler sehen nur X”-Tricks sichtbar sind. Überprüfen Sie immer Produktions-URLs, nicht Staging.

Häufig gestellte Fragen

Indexierbar zu sein bedeutet nur, dass es keine technischen Blockaden gibt; es garantiert nicht die Indizierung. Google entscheidet auch basierend auf wahrgenommener Qualität, doppeltem Inhalt und Crawl-Budget. Verwenden Sie die URL-Inspektion der Search Console für eine definitive Antwort von Google selbst.

In der Regel ist nur Meta-Robots (oder X-Robots-Tag) die richtige Antwort. Robots.txt blockiert das Crawlen; Meta-Robots blockiert die Indizierung. Für Seiten, die Sie nicht indexiert haben möchten, erlauben Sie das Crawlen, damit Google Ihr noindex-Tag lesen kann.

Google bewertet das endgültige Ziel einer Weiterleitungskette. Eine 301 von A nach B bedeutet, dass Google letztendlich B indiziert, nicht A. Der Prüfer simuliert dies, indem er alle Weiterleitungen auflöst, bevor er bewertet.

Nein. Seiten, die eine Authentifizierung erfordern, sind definitionsgemäß nicht indexierbar. Wenn Sie SEO dafür benötigen, ziehen Sie eine öffentliche Vorschauversion in Betracht.

Verwandte Tools

Tool in anderen Sprachen verfügbar