Crawl Budget

Google und andere Suchmaschinen müssen den Stromverbrauch und die Kapazität ihrer ständigen Suchläufe einteilen, da sie einige Milliarden Webseiten crawlen müssen.

Das geschieht, in dem sie ein sogenanntes Crawl Budget berechnen. Abhängig von der Bedeutung und dem Pagerank einer Webseite wird ihr eine gewisse Zeit zugebilligt, in der sie mit dem Crawler durchsucht wird. Damit ist die Zahl der Seiten begrenzt, die regelmäßig auf dieser Webseite gecrawlt werden.

Bedeutung des Crawl Budgets

Vor allem die Betreiber großer Webseiten und Online-Shops sind daher bemüht, ihre Linkstrukturen so anzulegen, dass mit Hilfe möglichst flacher Hierarchien die größtmögliche Zahl von Seiten oder Angeboten erfasst wird. Geschieht das nicht, kann es passieren, dass Produkte oder Inhalte nicht einbezogen werden. Damit könnte die Seite einerseits an Wert in Googles Pagerank verlieren, andererseits könnten die Kunden bei ihrer Suche bestimmte Produkte nicht finden. Ladezeit der Seiten und die Linkstruktur entscheiden als Crawl Rate darüber, wie viele Seiten gleichzeitig erfasst werden können.

Das für Webseitenbetreiber kostenlose Tool der Google Search Console zeigt unter dem Menüpunkt “Crawling Statistik” ein Diagramm, das die Aktivitäten des Crawlers für diese Webseite während der letzten 90 Tage abbildet. Veränderungen in diesem Diagramm deuten auf Veränderungen im Suchverhalten hin.

Maßnahmen um das Crawl Budget voll auszunutzen

Webmaster können neben der klaren Struktur verschiedene Aktivitäten ergreifen, um der Suchmaschine den Zugriff auf ihre Webseite zu erleichtern, damit das Crawl Budget möglichst optimale Ergebnisse anzeigt. Mit Markierungen wie dem Canonical Tag oder dem Noindex Tag können doppelte oder überflüssige Inhalte von der Suche ausgeschlossen werden. Mit einer möglichst geringen Zahl von Weiterleitungen und Seitenfehlern wird Suchzeit eingespart. Dazu gehört auch die Optimierung der Erreichbarkeit einer Seite, in dem sie nur über eine einzige Adresse zugänglich ist. Tatsächlich ist der Webmaster in gewisser Weise aufgefordert, die Suchmaschine bei ihrer Arbeit bestmöglich zu unterstützen.