Nachweis von Problemen bei der Sichtbarkeit in der KI-Suche, bei AEO und GEO anhand von Crawl-Protokollen und Suchergebnissen, um die Prioritäten für eine Website-Überarbeitung festzulegen

Wenn Sie einem Entscheidungsträger in einem Kleinunternehmen die Notwendigkeit einer Website-Überarbeitung verdeutlichen müssen, belegen Sie das Problem mit zwei Arten von Belegen: (1) was Crawler tatsächlich getan haben (Server-/CDN-Crawl-Protokolle) und (2) was Suchergebnisseiten und echte Nutzer gesehen haben (Search-Console-Berichte, SERP-Snapshots, Core Web Vitals Felddaten). Korrelieren Sie Log-Zeilen (Bot-User-Agent + Statuscode + URL) mit der Abdeckung in der Search Console, dem Leistungsbericht zur generativen KI und CrUX/Core Web Vitals, um konkrete Fehler aufzuzeigen (z. B. Googlebot hat eine wichtige Produktseite nie abgerufen, die Search Console kennzeichnet sie als “Entdeckt – derzeit nicht indexiert” und CrUX zeigt einen LCP-Wert weit über den Schwellenwerten an). Nutzen Sie diese Fakten, um Korrekturen zu priorisieren, die wiederkehrende Besuche, Konversionen und langfristige Sichtbarkeit bei KI und Google wiederherstellen. (Beachten Sie die maßgeblichen Leitlinien von Google Search Central zur Optimierung für generative KI sowie die Core Web Vitals-Dokumentation für die Standards, anhand derer Sie die Auswirkungen nachweisen können.) (developers.google.com)

Problem und Symptome

• • Symptom: Die organischen Impressionen oder Klicks gehen zurück, während der Traffic aus bezahlten Kanälen stabil bleibt. Überprüfen Sie in der Search Console unter “Leistung” auf plötzliche Veränderungen und unter „Abdeckung/URL-Prüfung“ auf Meldungen zur Indizierung. Wenn die Search Console für geschäftskritische Seiten den Status „Entdeckt – derzeit nicht indiziert“ anzeigt, ist das ein Warnsignal. (developers.google.com)

     

• • Symptom: Google (oder andere KI-Systeme) verweisen in KI-Antwortbereichen nicht auf Ihre Website. Nutzen Sie den Leistungsbericht „Generative KI“ in der Search Console, um zu überprüfen, ob Ihre Website in KI-Übersichten bzw. generativen Funktionen erscheint; eine nicht vorhandene oder nur sehr geringe Präsenz bei Suchanfragen, bei denen Sie eine Auffindbarkeit erwarten, ist ein Hinweis auf mangelnde Sichtbarkeit in KI-Systemen. (developers.google.com)

     

• • Symptom: Nutzer beklagen sich darüber, dass die Website langsam wirkt, oder die Konversionsrate sinkt nach einer Neugestaltung. Überprüfen Sie die Core Web Vitals in der Search Console (Felddaten/CrUX) und die Lighthouse-Labortests. Die Schwellenwerte der Core Web Vitals von Google (LCP, INP, CLS) legen fest, was in den Felddaten als “gut” gilt; werden diese nicht erreicht, korreliert dies mit einer schlechteren Nutzerinteraktion. (developers.google.com)

     

• • Symptom: Der Server wird durch unbekannte Crawler oder Bots überlastet, oder KI-Crawler werden von Ihrem CDN blockiert. In den Server-/CDN-Protokollen werden die User-Agents der Bots angezeigt und es wird vermerkt, ob Anfragen aus dem Edge-Cache bedient oder an der WAF blockiert wurden. KI-Crawler wie der GPTBot von OpenAI und der ClaudeBot von Anthropic veröffentlichen Leitlinien für Opt-out-/Opt-in-Regeln in der robots.txt-Datei, die darüber entscheiden, ob ihre Systeme Ihre Inhalte nutzen oder indexieren dürfen. Nutzen Sie diese Quellen, um nachzuweisen, ob Sie sich dafür oder dagegen entschieden haben. (seerly.app)

     

Was ist zu messen und wie (ein kurzes, wiederholbares Audit)

1. 1. Ermitteln Sie den Ausgangswert (Datenerhebung über 7–28 Tage)

• • Rufen Sie die Protokolle des Ursprungsservers ab und, falls Sie ein CDN/WAF (Cloudflare, Fastly, CloudFront) verwenden, auch die Edge-Protokolle. Vergleichen Sie die drei Ansichten: Crawl-Statistiken der Search Console, Protokolle des Ursprungsservers und CDN-Protokolle. Jede davon zeigt einen anderen Ausschnitt; zusammen schließen sie die “Crawl-Realitätslücke”. (linkilo.co)

2. 2. Search Console-Prüfungen (für Google maßgeblich)

• • Leistung (Suchanfragen, Seiten, Impressionen, Klickrate) – Filtern Sie die Seiten heraus, die für das Unternehmen von Bedeutung sind.

• • Reichweite und URL-Prüfung – Kopieren Sie Beispiel-URLs in die URL-Prüfung, um den letzten Abruf durch Google, den Indexierungsstatus und die Gründe dafür zu erfassen. Exportieren Sie Screenshots der Ausgabe der URL-Prüfung als Nachweis.

• • Leistungsbericht zur generativen KI – Exportieren Sie Impressionen und Klicks für Funktionen der generativen KI, um deren Vorhandensein (oder Fehlen) in den KI-Übersichten anzuzeigen. (developers.google.com)

3. 3. Protokollanalyse (Nachweis, welche Anfragen von Bots gestellt wurden)

• • Suchen Sie für jede geschäftskritische URL alle Protokolleinträge zu Googlebot, Bingbot, GPTBot, ClaudeBot und anderen KI-Bots für den Prüfungszeitraum. Erfassen Sie dabei: Zeitstempel, User-Agent, Statuscode, Antwortgröße und Referer-Header.

• • Häufige Befunde, die auf Probleme hindeuten: Der Bot gibt einen 4xx-/5xx-Fehler zurück; der Bot hat die URL nie angefordert; der Bot hat eine nicht-kanonische URL angefordert; der Bot hat eine zwischengespeicherte 404-Fehlermeldung vom CDN abgerufen.

• • Wenn Googlebot wiederholt Anfragen stellt, die Search Console den Status jedoch weiterhin als “nicht indexiert” anzeigt, dient dies als Beleg dafür, dass das Problem in der Qualität der Inhalte bzw. der Indizierung liegt und nicht im Crawling-Zugriff. (Protokolle und die URL-Prüfung schließen diese Lücke.) (linkilo.co)

4. 4. Core Web Vitals und UX-Daten

• • Exportieren Sie den „Core Web Vitals“-Bericht (Search Console / CrUX) für dieselben URL-Gruppen. Erfassen Sie die LCP-, INP- (oder INP-Ersatz-) und CLS-Perzentile sowie das von CrUX verwendete gleitende 28-Tage-Fenster. Lab-Audits (Lighthouse/PageSpeed Insights) erläutern die Ursachen (Renderblocker, große Bilder, langwierige Aufgaben). (support.google.com)

5. 5. SERP / Belege für KI-Antworten

• • Speichern Sie SERP-Screenshots für Zielsuchanfragen (Mobilgeräte und Desktop), die zeitgleich mit den Search-Console-Exporten erfasst wurden.

• • Speichern Sie bei KI-basierten Plattformen (ChatGPT Search, Perplexity, Google AI Overviews) die Antwort sowie die zitierten Quellen (sofern vorhanden). Wenn Ihre Website nicht an der erwarteten Stelle zitiert wird, ist dies ein Hinweis auf eine geringe AEO-/GEO-Sichtbarkeit. Verwenden Sie den Bericht zu generativer KI in der Search Console als quantifizierte Bestätigung. (developers.google.com)

Auswirkungen auf das Geschäft – wie man sie für Entscheidungsträger darlegt

• • Sichtbarkeit → Leads/Umsatz: Wenn Zielseiten (Produkte, Dienstleistungen, lokale Seiten) nicht gecrawlt oder nicht indexiert werden, können sie keine organischen Besuche generieren und auch nicht als Quellen für KI-Antworten dienen. Verwenden Sie die in der Search Console angezeigten entgangenen Impressionen sowie die durchschnittliche Klickrate und Konversionsrate (aus Ihren Analysedaten), um die monatlich entgangenen Leads/Umsätze zu schätzen.

     

• • UX → Konversion: Feldstudien und Fallbeispiele aus der Branche zeigen, dass Geschwindigkeitssteigerungen die Konversionsraten verbessern; Google/Deloittes “Milliseconds Make Millions” und die veröffentlichten Ergebnisse von CrUX/Web Almanac sind Beispiele, auf die Sie sich berufen können, wenn Sie den Business Case für Performance-Maßnahmen erstellen. Nutzen Sie die Konversionsrate und die Sitzungen Ihrer Website, um eine konservative Schätzung der Umsatzauswirkungen für eine bestimmte prozentuale Steigerung zu erstellen. (web.dev)

     

• • Risiken und Wartung: Protokolleinträge zu wiederholten 5xx-Fehlern, Weiterleitungsketten oder Spitzen im Bot-Traffic belegen operative Risiken (fehlgeschlagene Kaufabwicklung, höhere Hosting-Kosten, Sicherheitslücken). Das sind budgetierbare Wartungsarbeiten, keine optionalen Feinarbeiten. (linkilo.co)

     

Prioritäten: jetzt / als Nächstes / später

Derzeit (Tage bis 2 Wochen)

• • Nachweise: Search Console (Leistung, Abdeckung, generative KI), Screenshots der URL-Prüfung sowie ein Sieben-Tage-Ausschnitt der Origin- und CDN-Protokolle für wichtige Seiten.

• • Beheben Sie versehentliche Blockierungen: robots.txt, „noindex“-Tags, zugängliche Staging-Server sowie CDN-/WAF-Regeln, die Googlebot oder KI-Crawler blockieren. Führen Sie einen erneuten Test mit der URL-Prüfung und den Protokolleinträgen durch. (Das Blockieren oder versehentliche Verhindern von Crawlern ist eine schnelle und äußerst lohnende Maßnahme.) (developers.google.com)

Weiter (2–8 Wochen)

• • Technische Überprüfung: Behebung anhaltender 4xx-/5xx-Fehler bei Unternehmensseiten, Beseitigung von Weiterleitungsketten, Korrektur von Canonical-Tags und Sitemap-Einträgen sowie Sicherstellung der mobilen Parität (der gerenderte Inhalt entspricht dem auf dem Desktop).

• • Schnelle Verbesserungen der Performance: Optimieren Sie die größten Elemente, die sich auf den LCP auswirken (große Bilder verzögern, moderne Formate verwenden, kritisches CSS bereitstellen), reduzieren Sie die Blockierung des Haupt-Threads, um den INP zu verbessern, und stabilisieren Sie Layoutverschiebungen (CLS-Korrekturen). Überprüfen Sie dies in der Search Console unter „Core Web Vitals“ und in Lighthouse. (developers.google.com)

Später (2–6 Monate)

• • Inhalts- und Entitätsarbeit für AEO/GEO: Bereichern Sie Seiten mit nützlichen, einzigartigen und nicht generischen Inhalten und stellen Sie die von Google empfohlenen strukturierten Signale bereit (Unternehmensdaten in GMB/Business Profile, gegebenenfalls im Merchant Center). Befolgen Sie Googles Leitlinien zur generativen KI anstelle von “GEO-Hacks”. Beobachten Sie die Trends in den Leistungsberichten zur generativen KI. (developers.google.com)

• • Entscheidung bezüglich der Plattform oder Architektur (Neugestaltung/Plattformwechsel): Nutzen Sie die geprüften Protokolle, die Trends in der Search Console und die Schätzungen zu den Auswirkungen auf die Konversionsrate, um zu entscheiden, ob eine Neugestaltung erforderlich ist. Wenn mehr als 30% der indizierten URLs „thin“ oder Duplikate sind oder wenn die Seitenleistung auf dem aktuellen Stack ohne enormen Aufwand die CrUX-Schwellenwerte nicht erreichen kann, ist eine Neugestaltung langfristig möglicherweise schneller und kostengünstiger.

Entscheidungskriterien (wie man zwischen „Patch“ und „Neuerstellung“ entscheidet)

• • Umfang der technischen Schulden: Anzahl der indexierbaren URLs mit Weiterleitungs-, „noindex“- oder 404-Fehlern sowie Umfang der erforderlichen Korrekturen an den Vorlagen (falls durch Vorlagen/Plugins behebbar → Patch; falls jede Seite individuelle Korrekturen erfordert → Neugestaltung in Betracht ziehen).

• • Leistungsreserve: Kann die aktuelle Infrastruktur mit mäßigem technischem Aufwand die “guten” Schwellenwerte der Core Web Vitals für ein Traffic-Volumen von 75%+ erfüllen? Falls nicht, sollte die Infrastruktur neu aufgebaut oder der Hosting-Anbieter bzw. das CDN gewechselt werden.

• • Geschäftlicher Nutzen: Vergleichen Sie die Kosten für die Behebung der Probleme mit den geschätzten monatlichen Mehreinnahmen, die sich aus der wiederhergestellten organischen/AEO-Sichtbarkeit und der Steigerung der Konversionsrate ergeben (verwenden Sie dabei konservative Zahlen aus der Search Console, Analytics und Branchenstudien).

• • Operatives Risiko: Häufige Ausfälle, Sicherheitslücken oder nicht mehr unterstützte Plattformversionen sprechen für eine Neuinstallation.

Belegte Fakten (kurze Liste, die Sie in einer Präsentation vor dem Vorstand anführen können)

• • Google empfiehlt, die AEO/GEO-Optimierung am besten als Teil der Suchmaschinenoptimierung (SEO) zu betrachten – befolgen Sie den Leitfaden von Search Central zur generativen KI und nutzen Sie die Überwachungsfunktionen der Search Console, statt auf “llms.txt” oder andere nicht standardkonforme Hacks zurückzugreifen. (developers.google.com)

• • Core Web Vitals (LCP, INP, CLS) sind Feldmetriken, die in den Leitlinien von Google zur Seitenerfahrung verwendet und in der Search Console (CrUX) ausgewiesen werden. Verwenden Sie die Core Web Vitals in der Search Console, um reale –Benutzererfahrung. (developers.google.com)

• • Server- und CDN-Protokolle sind die verlässliche Quelle dafür, wer welche URLs wann abgerufen hat; die Search Console und Analysetools bieten ergänzende, aber nur unvollständige Einblicke. Nutzen Sie die Protokollanalyse, um den Zugriff von Crawlern nachzuweisen. (linkilo.co)

• • Der GPTBot von OpenAI und der ClaudeBot von Anthropic veröffentlichen Opt-out- und Robots-Regeln; die „robots.txt“-Datei sowie die CDN-/WAF-Einstellungen beeinflussen, ob diese Systeme Ihre Inhalte nutzen können. (seerly.app)

• • Feldstudien (Deloitte/Google “Milliseconds Make Millions”) zeigen, dass bereits geringe Geschwindigkeitssteigerungen mit messbaren Anstiegen der Konversionsrate einhergehen; nutzen Sie diese Studien, um Investitionen in die Leistungsoptimierung zu rechtfertigen, wo dies angebracht ist. (web.dev)

Fachliche Empfehlungen (praktisch, nach Priorität geordnet)

• • Beginnen Sie mit den Fakten: Exportieren Sie die Search-Console-Berichte und stellen Sie für den Entscheidungsträger Protokolle aus einem Zeitraum von 7 bis 28 Tagen zusammen. Fügen Sie die unbearbeiteten Screenshots bzw. Protokollausschnitte in eine kurze Präsentation ein: “Hier ist die URL, hier ist die Log-Zeile, die zeigt, dass Googlebot einen 404-Fehler erhalten hat, hier ist die Angabe aus der Search Console, dass die Seite nicht indexiert ist, hier sind die verlorenen Impressionen und die geschätzten entgangenen Leads.”

• • Beheben Sie zunächst Probleme beim Zugriff und bei der Indexierbarkeit (robots.txt, noindex, Weiterleitungsketten) und optimieren Sie anschließend die Leistung und die inhaltliche Qualität der Seiten mit dem höchsten Traffic.

• • Nutzen Sie die Core Web Vitals als Kriterium: Bringen Sie hochwertige Landingpages in CrUX in die Kategorie “gut”; das verbessert sowohl die Benutzererfahrung für Menschen als auch die Eignung für KI-basierte Funktionen.

• • Kontinuierliche Überwachung: Log-Warnmeldungen für wiederholte 5xx-Fehler, Bot-Spitzen und Verschlechterungen der Core Web Vitals hinzufügen; den Bericht zur generativen KI in der Search Console monatlich erneut exportieren.

Kurze Checkliste (Prüfungs- und Entscheidungsgrundlage)

• • [ ] Export aus der Search Console: Leistung (nach Zielseiten filtern), Abdeckung, Ergebnisse der URL-Prüfung, Leistungsbericht zur generativen KI. (developers.google.com)

• • [ ] Protokolle vom Ursprungsserver sowie CDN-/WAF-Protokolle abrufen (7–28 Tage). (linkilo.co)

• • [ ] Für 10 geschäftskritische URLs: Stellen Sie (a) die letzte Zeile des Googlebot-Protokolls, (b) einen Screenshot der URL-Prüfung, (c) die Zeile mit den Core Web Vitals und (d) Screenshots der SERP/KI-Antworten zusammen.

• • [ ] Überprüfen Sie die „robots.txt“-Datei sowie die CDN-/WAF-Regeln auf Sperren oder Ratenbeschränkungen für Bots; überprüfen Sie die Richtlinien für GPTBot/ClaudeBot, falls Ihnen die Indizierung durch KI wichtig ist. (seerly.app)

• • [ ] Führen Sie Lighthouse bzw. PageSpeed Insights durch, um die Ursachen zu ermitteln, und speichern Sie die Testberichte.

• • [ ] Schätzung der Auswirkungen auf den Umsatz: entgangene Impressionen × Klickrate × Konversionsrate = entgangene Leads; Vergleich dieser Zahlen mit den Kosten für Abhilfemaßnahmen.

• • [ ] Erstellen Sie gemeinsam mit den Verantwortlichen einen “Jetzt/Als Nächstes/Später”-Fahrplan mit den geschätzten Arbeitsstunden und Kosten.

Wenn Sie möchten, kann ich (1) die genauen Protokolle und Search-Console-Exporte zusammenstellen und in einem einseitigen Nachweisblatt für den Vorstand zusammenfassen oder (2) eine kurze Präsentation (8 Folien) erstellen, die diese Nachweise in eine Entscheidungsgrundlage für „Kaufen“ oder „Nicht kaufen“ umwandelt. Was wäre für Sie am hilfreichsten?