Crawling Budget
Das Thema “Crawling Budget” wird in SEO-Kreisen oft und zeitweise auch heiß diskutiert. Mit dem neuen Google Handbuch soll nun etwas mehr Klarheit kommen. (Bildnachweis: istockphoto tumsasedgars)

Das Thema Crawling Budget taucht immer wieder in SEO-Diskussionen, Vorträgen und Meetings auf. Google sagt selber, dass es ein Ranking-Faktor ist, allerdings kein Ranking-Signal.

Jetzt hat Google ein neues Handbuch für Webmaster bereits gestellt, dass sich vornehmlich an SEOs von wirklich großen Webseiten richtet.

Für wen ist dieses Handbuch gedacht?

Dies ist ein Handbuch für fortgeschrittene Nutzer, die Folgendes haben:

  • große Websites (über 1 Million Seiten), deren Inhalt sich häufig (einmal pro Woche) ändert oder
  • mittelgroße Websites (mehr als 10.000 Seiten) mit Inhalten, die sich sehr schnell (täglich) ändern.

Die hier angegebenen Seitenzahlen sind nur ungefähre Werte, die Ihnen helfen sollen, Ihre Website einzuordnen.

Quelle: https://support.google.com/webmasters/answer/9689511

Definition und Erklärung: Crawling Budget

Das Web ist riesig und übersteigt die Möglichkeiten von Google, jede verfügbare URL zu erforschen und zu indexieren. Deshalb hat der Googlebot nur begrenzt Zeit, die jeweilige Website zu crawlen. Die Zeit und die Ressourcen, die Google für das Crawling einer Website aufwendet, werden als das Crawling-Budget bezeichnet. Beachten Sie, dass nicht alles, was auf Ihrer Website gecrawlt wird, auch notwendigerweise indexiert wird. Jede Seite muss evaluiert, konsolidiert und bewertet werden, um zu entscheiden, ob sie nach dem Crawling indexiert wird.

Das Crawling-Budget wird durch zwei Hauptelemente bestimmt: das Crawling-Kapazitätslimit und den Crawling-Bedarf.

Crawling-Kapazitätslimit

Beim Crawling Ihrer Website durch den Googlebot sollen alle Ihre wichtigen Inhalte abgedeckt werden, ohne Ihre Server zu überlasten. Deshalb berechnet der Googlebot das Crawling-Kapazitätslimit, das angibt, wie viele Verbindungen der Googlebot maximal gleichzeitig für das Crawling einer Website verwenden kann und wie viel Zeit zwischen Abrufen vergeht.

Das Crawling-Kapazitätslimit kann sich aus verschiedenen Gründen erhöhen oder verringern:

  • Crawling-Status: Wenn die Website eine Zeit lang schnell reagiert, wird das Limit erhöht, sodass mehr Verbindungen für das Crawling verwendet werden können. Falls die Website langsamer wird oder mit Serverfehlern antwortet, verringert sich das Limit und der Googlebot crawlt weniger.
  • Durch den Websiteinhaber in der Search Console festgelegtes Limit: Websiteinhaber können die Crawling-Frequenz ihrer Website einschränken. Beachten Sie jedoch, dass sich das Crawling nicht automatisch erhöht, wenn Sie höhere Limits festlegen.
  • Crawling-Limits von Google: Google hat sehr viele Rechner, aber auch nicht unbegrenzt viele. Auch wir müssen uns gut überlegen, wie wir unsere Ressourcen einsetzen.

Crawling-Bedarf

Google crawlt eine Website in der Regel so lange, wie es aufgrund ihrer Größe, der Aktualisierungshäufigkeit, Seitenqualität und Relevanz im Vergleich zu anderen Websites nötig ist.

Die folgenden Faktoren spielen bei der Bestimmung des Crawling-Bedarfs eine wichtige Rolle:

  • Wahrgenommenes Inventar: Wenn der Googlebot von Ihnen keine weiteren Hinweise erhält, versucht er, alle oder die meisten URLs Ihrer Website zu crawlen, die ihm bekannt sind. Falls viele dieser URLs Duplikate sind oder aus einem anderen Grund nicht gecrawlt werden sollen (z. B. weil sie entfernt wurden oder unwichtig sind), wird dadurch viel Zeit beim Crawling Ihrer Website verschwendet. Das ist der Faktor, den Sie am stärksten beeinflussen können.
  • Beliebtheit: URLs, die im Internet beliebter sind, werden tendenziell häufiger gecrawlt, damit sie in unserem Index besonders aktuell sind.
  • Aktualität: Unsere Systeme versuchen, Dokumente oft genug zu crawlen, sodass Änderungen schnell erkannt werden.

Darüber hinaus können Ereignisse, die die gesamte Website betreffen, wie etwa der Umzug einer Website, zu einer Zunahme des Crawling-Bedarfs führen, da der Inhalt unter den neuen URLs neu indexiert werden muss.

Zusammenfassung

Anhand der Crawling-Kapazität und des Crawling-Bedarfs bestimmt Google das Crawling-Budget, das für die URLs einer Website aufgewendet werden soll, die der Googlebot crawlen kann und möchte. Selbst wenn das Crawling-Kapazitätslimit nicht erreicht wird, crawlt der Googlebot Ihre Website weniger, falls der Crawling-Bedarf gering ist.

Crawling Budget erhöhen?

Es gibt einige Möglichkeiten und Hebel das eigene Crawlingbudget zur erhöhen bzw. positiv zu beeinflussen. Interessant sind dabei die Aussagen von Google: es geht nicht nur um die sogenannten “Bereitstellungkapazitäten” aka Server und PageSpeed, sondern eben auch um die “Nützlichkeit des Inhalts” für Nutzer.

Google bestimmt die Menge der Crawling-Ressourcen, die einer konkreten Website gewidmet werden, anhand ihrer Beliebtheit, ihres Werts für die Nutzer, ihrer Einzigartigkeit und der Bereitstellungskapazität. Sie können Ihr Crawling-Budget nur erhöhen, indem Sie die Bereitstellungskapazität für das Crawling erhöhen und insbesondere die Nützlichkeit des Inhalts Ihrer Website für Nutzer mit Suchanfragen steigern.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

jetzt den KLICK.NEWS Newsletter abonnieren

Und wir halten Dich immer auf dem aktuellen Stand!

Diese Beiträge könnten Dich auch interessieren:

Google Chrome: URLs werden in Zukunft gekürzt

Google startet mal wieder einen Angriff auf die URL-Leiste. Der Browser Chrome 85 versteckt vollständige URLs – nur der Domain-Name bleibt bestehen. Was genau die Intention von Google ist bleibt offen. Nach eigenen Aussagen seien ungekürzte URLs für viele User “zu kompliziert”.

Google Core Update Dezember 2020: Gewinner & Verlierer

Am 03. Dezember war es so weit: ein neues Google Core Update wurde ausgerollt! Es lassen sich bereits Auswirkungen der jüngsten Aktualisierungen beobachten. Lily Ray von Path interactive hat nun einige Daten für die USA analysiert und zusammengetragen.

LinkedIn schmeißt sich selbst aus dem Google-Index

Wer gestern mit der Site-Abfrage und der Domain www.linkedin.com herumgespielt hat, konnte und wollte seinen Augen nicht trauen: alle Inhalte von www.linkedin.com waren komplett aus dem Index verschwunden.

Externe Trafficschätzung ist jetzt auch mit SISTRIX möglich

Das SEO-Monitoring Tool SISTRX erweitert wieder einmal die Funktionen ihrer Toolbox. Neuestes Beta-Features ist die Trafficschätzung und Klickverteilung. Für eine externe Analyse von Wettbewerbern bietet die Toolbox nun noch mehr hilfreiche Daten für Webmaster und SEOs.