`

Google crawlt deine mobile Seite anders als Desktop. Das Crawl-Budget ist begrenzt, besonders bei kleineren Sites. Ich habe das auf brutale Weise gelernt.

Meine Log-Files zeigten: Googlebot verschwendete 60 Prozent der Crawls auf nutzlose URLs. Facettierte Navigation, Session-IDs in URLs, parametrisierte Sortierungen. Alles wurde mobil gecrawlt, obwohl ich dachte, robots.txt würde das blockieren.

Der Fehler: Mobile Googlebot ignoriert bestimmte Disallow-Regeln teilweise, wenn interne Links auf diese URLs zeigen. Meine gefilterten Produktlisten waren intern verlinkt, also crawlte Google sie trotz robots.txt-Einträgen.

Drei Änderungen verbesserten die Crawl-Effizienz massiv:

• Canonical Tags auf allen parametrisierten URLs, nicht nur noindex
• JavaScript-basierte Filter statt URL-Parameter
• Interne Link-Struktur reduziert von durchschnittlich 340 auf 85 Links pro Seite

Was mich überraschte: Infinite Scroll frisst Crawl-Budget, selbst mit korrekter Pagination-Implementierung. Google crawlt die AJAX-Endpunkte separat. Ich wechselte zu "Load More" Buttons mit nummerierten URLs.

Server-Logs analysieren ist Pflicht. Search Console zeigt nicht, welche URLs Crawl-Budget verschwenden. Ich nutze GoAccess für schnelle Analysen. Die Investition: zwei Stunden Setup, danach klare Datenlage.

Weniger gecrawlte Seiten bedeuten nicht schlechter, sondern effizienter.

`