So nutzt du dein Crawling Budget gezielt für bessere Rankings

Das Wichtigste in Kürze

Das Crawling Budget beschreibt die Ressourcen, die Google bereit ist, für das Crawlen deiner Website aufzuwenden. Es setzt sich aus zwei Faktoren zusammen:

1. dem Crawl Capacity Limit (wie viel dein Server technisch verträgt)
2. dem Crawl Demand (wie relevant Google deine Inhalte einschätzt)

Wer das Budget klug einsetzt, sorgt dafür, dass Google seine wichtigsten Seiten zuerst findet.

• Das Crawling Budget ist kein fester Wert, sondern wird von Google dynamisch je Domain berechnet
• Crawling und Indexierung sind zwei verschiedene Prozesse: eine gecrawlte Seite ist nicht automatisch indexiert
• Budget-Verschwendung entsteht durch URL-Parameter, Filterkombinationen, Redirect-Ketten und 404-Seiten
• Unnötige Seiten lassen sich per noindex, robots.txt oder Canonical-Tag aus dem Crawl ausschließen
• Schnelle Ladezeiten und stabile Server erhöhen die Crawl-Kapazität direkt
• Flache Seitenarchitektur und strategische interne Verlinkung helfen Google, die relevanten Seiten zu priorisieren
• In Shopware-Shops sind Filterseiten und Paginierung häufige Ursachen für Budget-Verschwendung

Was steckt eigentlich hinter dem Crawling Budget

Täglich kommen Millionen neuer URLs ins Netz, und die Ressourcen des Googlebots sind begrenzt. Deshalb berechnet Google für jede Domain individuell, wie viele URLs in einem bestimmten Zeitfenster besucht werden. Das ist das Crawling Budget. Und es ist keine statische Zahl, sondern ein dynamisches Limit, das sich aus zwei Faktoren zusammensetzt.

Der erste Faktor ist das Crawl Capacity Limit. Es beschreibt, wie viele gleichzeitige Verbindungen Google zu deinem Server aufbauen darf, ohne ihn zu überlasten. Der zweite Faktor ist der Crawl Demand. Hier bewertet Google, wie relevant und aktuell deine Inhalte sind. Eine Website, die regelmäßig neue Inhalte veröffentlicht, viele externe Verlinkungen hat und eine hohe Popularität genießt, bekommt mehr Crawl-Nachfrage zugewiesen.

Wie Google das Crawl-Limit für deine Domain festlegt

Wer verstehen will, wie das Crawl Budget von Google intern funktioniert, muss sich eine einfache Logik vor Augen halten. Google erhöht das Kapazitätslimit, wenn dein Server schnell und stabil antwortet. Und es senkt das Limit, wenn dein Server langsam reagiert oder Fehler zurückgibt.

5xx-Serverfehler sind in diesem Zusammenhang besonders kritisch. Sie signalisieren Google direkt, dass dein Server unter Last steht, und die Crawl-Rate wird daraufhin automatisch gedrosselt. Schnelle Ladezeiten und eine stabile Infrastruktur sind daher nicht nur gut für Nutzer, sondern auch ein direkter Hebel für mehr Crawling-Kapazität.

Seit März 2024 gilt Interaction to Next Paint (INP) als Messgröße für Reaktionsfähigkeit und ersetzt den alten FID-Wert in den Core Web Vitals. Google hat bestätigt, dass schlechte Nutzererfahrungswerte weniger Crawling-Ressourcen bedeuten können. Dazu kommt, dass Google primär die mobile Version deiner Website crawlt und bewertet. Wer dort schlechte Ladezeiten hat, bekommt auch beim Crawling die Quittung.

Warum ein verschwendetes Budget deine Sichtbarkeit kostet

Das Budget ist begrenzt. Jede URL, die Google unnötig crawlt, fehlt an anderer Stelle. Das klingt abstrakt, hat aber sehr konkrete Konsequenzen. Wenn Google zu viel Zeit mit irrelevanten Seiten verbringt, bleiben wichtige Produkte, Kategorien oder frische Inhalte möglicherweise ungecrawlt und damit unsichtbar in den Suchergebnissen.

Gerade in Shops mit vielen Produktvarianten, Filterseiten oder saisonalen Sortimenten ist Budgetverschwendung ein reales Problem. Ein klares Warnsignal in der Google Search Console ist der Status „Gecrawlt, aber nicht indexiert“. Wenn viele URLs diesen Status haben, hat Google sie zwar besucht, aber nichts Indexierungswürdiges gefunden oder die Ressourcen reichten nicht.

Seiten, die Google Zeit stehlen, ohne dir etwas zu bringen

Es gibt bestimmte URL-Typen, die Crawling-Ressourcen regelrecht aufsaugen, ohne einen einzigen SEO-Mehrwert zu liefern. Das sind die häufigsten Übeltäter.

Session-IDs und URL-Parameter sind ein klassisches Problem. Systeme, die für jede Nutzerinteraktion eine eigene URL generieren, erzeugen schnell Tausende von URLs mit identischem Inhalt. Für Google sehen das wie eigenständige Seiten aus und das Budget wird für Duplikate verbraucht.

Ähnliches gilt für interne Suchergebnisseiten, die öffentlich erreichbar sind. Dazu kommen Redirect-Ketten. Ab drei Weiterleitungen hintereinander riskiert man, dass Google den Crawl abbricht, bevor er die finale Ziel-URL erreicht. Noch teurer sind 404-Fehlerseiten, die intern noch verlinkt sind, und doppelte URLs durch inkonsistente HTTP/HTTPS- oder www/non-www-Konfigurationen.

Was passiert wenn wichtige Seiten nicht gecrawlt werden

Neue Seiten, die nicht gecrawlt wurden, sind für Suchende schlicht nicht sichtbar. Sie existieren für Google nicht. Das ist besonders kritisch, wenn saisonale Kollektionen oder zeitkritische Angebote ins Sortiment kommen und Google sie einfach zu spät findet.

Aber auch bestehende Seiten leiden darunter. Wenn Preise, Beschreibungen oder Verfügbarkeiten aktualisiert werden und Google diese Änderungen nicht zeitnah aufnimmt, bleiben veraltete Versionen in den Suchergebnissen sichtbar. Das schadet nicht nur den Rankings, sondern auch dem Nutzererlebnis. Wer genauer verstehen will, was hinter dem Status „Gecrawlt, aber nicht indexiert“ steckt und was das konkret für deine Seite bedeutet, findet dazu eine detaillierte Einordnung in unserem Ratgeber.

Maßnahmen um dein Budget sinnvoll einzusetzen

Hier geht es nicht darum, irgendwie mehr Budget zu bekommen. Es geht darum, das vorhandene Budget smarter zu verteilen. Google soll seine Zeit mit den Seiten verbringen, die wirklich zählen. Dafür gibt es drei zentrale Hebel:

• Seiten ausschließen
• Verlinkung optimieren
• Architektur vereinfachen

Unnötige Seiten aus dem Index ausschließen

Zu "unnötigen Seite" gehören zum Beispiel:

• Warenkorbseiten
• Loginbereiche
• Sortier- und Filtervarianten
• Merkzettel
• Vergleichsseiten
• technische Parameter-URLs ohne eigenen Mehrwert

Ein noindex-Tag schickt Google die klare Botschaft, dass diese Seite nicht für die Suchmaschine gedacht ist. Über die robots.txt lassen sich ganze Verzeichnisse ausschließen, zum Beispiel:

• Login-Bereiche
• Adminpfade
• Parameter-URLs

Wichtig ist, dass du Canonical-Tags korrekt gesetzt hast, damit Google bei Seiten mit ähnlichem Inhalt weiß, welche Version die Hauptversion ist. Auch die Sitemap sollte bewusst schlank gehalten werden. Nur URLs, die Status 200 liefern und korrekt auf sich selbst canonical zeigen, haben dort etwas zu suchen.

Eine oft unterschätzte Maßnahme ist die Konfiguration des URL-Parameters in der Search Console. So weiß Google, welche Parameter keinen neuen Inhalt erzeugen und nicht gecrawlt werden müssen. Wer tiefer in das Thema Canonical einsteigen möchte und verstehen will, wie man Crawling-Ressourcen gezielt schützt, findet dazu alle Details in unserem Artikel zum Canonical Tag.

Interne Verlinkung strategisch aufbauen

Bestimmt weißt du, dass Google Verlinkungen folgt. Je häufiger eine Seite intern verlinkt ist, desto relevanter erscheint sie dem Googlebot und desto häufiger wird sie gecrawlt. Das ist kein Geheimnis, aber in der Praxis wird dieser Hebel oft unterschätzt.

Wichtige Kategorien und Produktseiten sollten möglichst nah an der Startseite verlinkt sein. Mehr als 4 bis 5 Klicks von der Startseite entfernt laufen Seiten Gefahr, vom Googlebot übersehen zu werden. Genauso schädlich sind interne Links auf Seiten mit noindex oder 404-Status. Sie verschwenden Crawling-Ressourcen und geben Google unnötige Sackgassen. Breadcrumbs, Hauptmenüs und Kategorieseiten sind dabei die stärksten Hebel für eine strategisch sinnvolle Verlinkung.

Crawl-freundliche Seitenarchitektur: So hilft dir Struktur

Eine flache Architektur ist kein Nice-to-have, sondern ein technisches Grundprinzip. Wenn alle relevanten Seiten innerhalb von maximal 4 bis 5 Klicks von der Startseite erreichbar sind, hat Google eine klare Orientierung und muss keine tiefen URL-Strukturen durchforsten.

Dazu kommen saubere URLs ohne überflüssige Parameter und eine optimierte Ladegeschwindigkeit. Je schneller dein Server antwortet, desto mehr Kapazität gibt Google deiner Domain. JavaScript-lastige Seiten sind ein besonderes Thema: Da Google für das Rendering einen zusätzlichen Schritt benötigt, kann es passieren, dass Inhalte erst beim zweiten oder dritten Crawl-Besuch wirklich gesehen werden. Und Redirect-Ketten sollten konsequent auf einen einzigen Hop reduziert werden.

Typische Probleme in Shops mit vielen Produktseiten

Shops mit Hunderttausenden von Produkten sind die klassischen Kandidaten für Crawling-Budget-Probleme. Hier treffen viele der beschriebenen Herausforderungen gleichzeitig aufeinander.

Produktvarianten sind ein typisches Beispiel. Größe, Farbe, Material, jede Kombination kann eine eigene URL erzeugen, die inhaltlich kaum Unterschied zur Hauptseite aufweist, aber Budget verbraucht. Veraltete oder nicht mehr verfügbare Produkte, die nie deindexiert wurden, kosten Ressourcen ohne jede Gegenleistung. Und saisonale Artikel, die nach der Saison einfach stehen bleiben, belasten das Budget langfristig.

Dazu kommt Duplicate Content durch ähnliche Produktbeschreibungen, die in mehreren Kategorien gleichzeitig auftauchen. Für Google wirkt das wie redundante Inhalte, und das Budget wird entsprechend ineffizient eingesetzt.

Paginierung, Facetten und Filter richtig steuern

Paginierung ist nicht per se schlecht. Kategorieseiten mit vielen Produkten brauchen eine zweite oder dritte Seite. Aber wie die Paginierung technisch umgesetzt ist, entscheidet darüber, ob sie Budget verschwendet oder sinnvoll genutzt wird.

Kritischer ist die Facettennavigation: Wenn Filter für Farbe, Größe und Material kombiniert werden können, entstehen schnell Hunderte von URL-Kombinationen, die inhaltlich kaum Unterschiede aufweisen. Die Empfehlung ist klar, nur ausgewählte, keyword-relevante Filterseiten als crawlbare URL freigeben, den Rest per noindex oder robots.txt sperren. Und auf allen Filterseiten sollten Canonical-Tags gesetzt sein, die auf die jeweilige Hauptkategorie zeigen.

In Shopware gilt das ganz besonders. Die Einstellungen für Filterseiten und Paginierung haben direkten Einfluss darauf, wie Google den Shop crawlt und wie viel Budget sinnvoll oder eben sinnlos verbraucht wird.

Wann lohnt es sich, professionelle Unterstützung zu holen

Crawling-Budget-Probleme sind oft nicht auf den ersten Blick erkennbar. Manchmal laufen Rankings einfach nicht, ohne dass ein offensichtlicher Fehler sichtbar ist. Genau dann lohnt es sich, tiefer zu schauen.

Ab einer gewissen Größe und Komplexität der Website, spätestens ab etwa 10.000 URLs oder bei täglichen Inhaltsänderungen, macht eine professionelle Analyse Sinn. Wer gezielt verstehen will, wie Google seine Website crawlt und wo Ressourcen verloren gehen, braucht Log-File-Analysen, eine saubere Search-Console-Auswertung und einen technischen Blick auf die Gesamtstruktur.

Genau das ist eine der Kernaufgaben professioneller SEO-Betreuung.

Wer noch am Anfang steht und sich fragt, was eine SEO-Agentur in diesem Bereich überhaupt leisten kann, bekommt bei uns einen ehrlichen Überblick über unsere Arbeitsweise und unsere Herangehensweise an technische SEO-Projekte.

Zeichen dafür dass dein Budget ineffizient genutzt wird

Es gibt konkrete Signale, die darauf hindeuten, dass das Crawling Budget nicht optimal eingesetzt wird. Diese Punkte solltest du auf dem Radar haben: Viele URLs mit dem Status „Gecrawlt, aber nicht indexiert“ in der Search Console sind ein klassisches Warnsignal.

Genauso auffällig ist es, wenn neue Seiten oder Änderungen erst nach Wochen in den Suchergebnissen auftauchen, obwohl der Content längst live ist. Oder wenn Produktseiten trotz sauberem Onpage-Setup einfach nicht ranken. Nach Preis- oder Inhaltsupdates bleiben alte Versionen dann lange in den Suchergebnissen sichtbar.

Eine Log-File-Analyse mit Tools wie dem Screaming Frog Log File Analyser zeigt schwarz auf weiß, ob ein Großteil der Googlebot-Zugriffe auf irrelevante URLs entfällt. Das ist selten schön anzusehen, aber immer der ehrlichste Ausgangspunkt für eine Verbesserung

FAQs

Was ist das Crawling Budget?

Das Crawling Budget beschreibt die Ressourcen, die Google bereit ist, für das Crawlen deiner Website aufzuwenden. Es setzt sich aus Crawl Capacity und Crawl Demand zusammen.

Für wen ist das Crawling Budget relevant?

Relevant ab ca. 10.000 URLs oder bei häufig wechselnden Inhalten. Kleine Websites mit wenigen Seiten müssen sich in der Regel keine Gedanken machen.

Wie kann ich mein Crawling Budget einsehen?

Direkt einsehen kannst du es nicht. In der Google Search Console unter Einstellungen zeigen dir die Crawl-Statistiken, wie aktiv Google deine Seite crawlt.

Warum crawlt Google manche Seiten nicht?

Häufige Gründe sind Serverprobleme, zu viele irrelevante URLs, schlechte interne Verlinkung oder zu tiefe Seitenarchitektur. Google priorisiert relevante Seiten.