Analyse des KI-Bot-Traffics

Sehen Sie, welche KI-Crawler Ihre Website lesen. Seite für Seite, Tag für Tag.

KI-Engines können nur zitieren, was ihre Crawler abgerufen haben. AutoSEO liest Ihre Server-Logs, Ihr CDN oder hochgeladene Logfiles, erkennt 27 KI- und Such-Crawler – von GPTBot und ClaudeBot bis PerplexityBot und OAI-SearchBot –, prüft sie gegen die veröffentlichten IP-Bereiche und zeigt, welche Seiten sie besuchen und wie Ihre Website antwortet.

Für 50 $/Monat starten Kostenlos selbst hosten

AutoSEO-Analyse des Bot-Traffics mit Crawler-Besuchen pro Tag für Googlebot, GPTBot, ChatGPT-User und ClaudeBot sowie dem Anteil verifizierter Anfragen

Warum das wichtig ist

Kein Crawl, kein Zitat. Jede KI-Antwort beginnt mit einem Abruf.

Bevor eine KI-Engine Ihre Preisseite zitieren kann, muss ihr Crawler sie abrufen – fürs Training, für einen Suchindex oder live, während ein Nutzer fragt. Ob das passiert ist, zeigen nur die Server-Logs. Die meisten Analytics-Tools filtern Bots dagegen komplett heraus.

01
Training, Suche und Nutzerabrufe unterscheiden sich
GPTBot sammelt Trainingsdaten, OAI-SearchBot baut einen Suchindex auf, ChatGPT-User ruft Seiten live für einen Nutzer ab. Jeder Bot verrät etwas anderes.
02
Gefälschte Bots verzerren das Bild
Jeder kann einen GPTBot-User-Agent senden. Der Abgleich der IP-Adresse mit den veröffentlichten Bereichen des Betreibers trennt echte Crawler von Scrapern.
03
Fehler kosten Zitate
Ein Crawler, der auf wichtigen Seiten 404-Fehler, Weiterleitungsketten oder Serverfehler bekommt, hat nichts zu zitieren. Statuscodes je Bot zeigen, wo Sie ansetzen.

Erkannte Crawler: 27; KI-, Such- und SEO-Bots
Verifizierte Betreiber: 6; Über veröffentlichte IP-Bereiche
Live-Connectoren: 3; Cloudflare, Akamai, Server-Logs
Logfile-Uploads: 1 GB; Unkomprimiert oder gzip, pro Datei

Was Sie bekommen

Jeder Besuch eines KI-Crawlers – verifiziert und aufgeschlüsselt.

27 Crawler, nach Zweck gruppiert
Bots von OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta, Amazon und weiteren – gekennzeichnet als Training, Suchindex, nutzerausgelöst oder SEO-Tool.
IP-Verifizierung
Anfragen der Crawler von OpenAI, Anthropic, Perplexity, Google, Microsoft und Apple werden mit deren veröffentlichten IP-Bereichen abgeglichen, gefälschte Besuche separat gezählt.
Besuche pro Tag und pro Bot
Tägliche Crawler-Besuche, eindeutige URLs und Trends gegenüber dem Vorzeitraum – plus der Zeitpunkt, an dem jeder Bot zuletzt da war.
Gecrawlte Seiten
Welche URLs jeder Crawler wie oft abgerufen hat – so sehen Sie, ob Preis-, Produkt- und Doku-Seiten gelesen werden.
Antwortverhalten
Statuscodes je Crawler – Erfolg, Weiterleitung, Client- und Serverfehler –, um Seiten zu finden, die nur für Bots scheitern.
Logs, CDN oder API
Laden Sie Logs von nginx, Apache, Cloudflare, Akamai oder als NDJSON hoch, streamen Sie per Cloudflare Worker, Logpush oder Akamai DataStream 2 – oder senden Sie NDJSON aus jedem Backend.

So funktioniert es

Von rohen Logs zum Crawler-Report in drei Schritten.

1 Schritt 1
Datenquelle wählen
Laden Sie ein Logfile hoch, richten Sie den Cloudflare Worker in jedem Tarif ein, nutzen Sie Logpush oder Akamai DataStream 2 – oder liefern Sie Logs über nginx, Vector oder Fluent Bit.
2 Schritt 2
AutoSEO filtert und verifiziert
Gespeichert werden nur Crawler-Anfragen. Jede wird einem Bot zugeordnet, wo möglich mit veröffentlichten IP-Bereichen abgeglichen und dedupliziert.
3 Schritt 3
Lücken finden und beheben
Sehen Sie, welche Bots wichtige Seiten auslassen oder auf Fehler stoßen, und finden Sie mit einem Crawlability-Check die Ursache.

FAQ

Häufige Fragen

Was ist KI-Bot-Traffic?

KI-Bot-Traffic sind die Anfragen von KI-Crawlern an Ihre Website: Trainings-Crawler wie GPTBot und ClaudeBot, Such-Crawler wie OAI-SearchBot und PerplexityBot sowie nutzerausgelöste Abrufe wie ChatGPT-User, die eine Seite laden, während sie eine Frage beantworten. Er taucht in Server-Logs auf, nicht in der normalen Web-Analyse.

Wie sehe ich, ob ChatGPT meine Website crawlt?

Suchen Sie in Ihren Server- oder CDN-Logs nach GPTBot, OAI-SearchBot und ChatGPT-User. AutoSEO übernimmt das für Sie: Laden Sie ein Logfile hoch oder verbinden Sie Cloudflare, Akamai oder einen Log-Shipper, und Sie sehen jeden Besuch dieser Crawler mit den abgerufenen Seiten und Statuscodes.

Welche KI-Crawler erkennt AutoSEO?

27 User-Agents, darunter GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Perplexity-User, Googlebot, GoogleOther, Bingbot, Applebot, Meta-ExternalAgent, Bytespider, Amazonbot, DuckAssistBot, MistralAI-User und CCBot. SEO-Crawler wie AhrefsBot und SemrushBot werden zum Vergleich angezeigt.

Wie funktioniert die Bot-Verifizierung?

OpenAI, Anthropic, Perplexity, Google, Microsoft und Apple veröffentlichen die IP-Bereiche ihrer Crawler. AutoSEO lädt diese Listen und prüft die IP-Adresse jeder Anfrage. Ein Besuch, der sich als GPTBot ausgibt, aber von einer unbekannten Adresse kommt, gilt als nicht verifiziert.

Bremst der Cloudflare Worker meine Website aus?

Der Worker gibt jede Antwort unverändert weiter und meldet Bot-Besuche im Hintergrund. Im Cloudflare-Enterprise-Tarif können Sie stattdessen Logpush nutzen, das Logs sendet, ohne Anfragen überhaupt zu berühren.

Geht das auch ohne Zugriff auf das CDN?

Ja. Laden Sie Access-Logs von nginx, Apache oder anderen Servern unkomprimiert oder als gzip mit bis zu 1 GB hoch, oder senden Sie NDJSON mit einem Projekt-Token an die Ingest-API. Connectoren für Fastly und AWS CloudFront sind als „demnächst“ gelistet.

Ist die Analyse des KI-Bot-Traffics kostenlos?

Die Bot-Traffic-Analyse ist Teil der Open-Source-App AutoSEO und beim Self-Hosting mit allen Funktionen kostenlos. AutoSEO Cloud bietet Ihnen einen verwalteten Workspace für 50 $ pro Monat, KI- und Datennutzung im Wert von 10 $ inklusive. Logfile-Uploads und die Connectoren für Cloudflare und Akamai kosten nichts extra.

Passende Funktionen

Tracken Sie Ihre Marke in:ChatGPT Perplexity Claude Gemini Google AI Mode Google AI Overviews Microsoft Copilot Grok Mistral DeepSeek Meta AI Qwen Kimi Sabiá Solar