Bot-Traffic-Integrationen
Cloudflare-Integration
Stellen Sie einen kleinen Cloudflare Worker bereit – oder leiten Sie Logpush im Enterprise-Tarif an AutoSEO – und sehen Sie, welche KI-Crawler Ihre Seiten besuchen, wie oft und mit welchen Statuscodes.
Überblick
Das bekommen Sie mit der Cloudflare-Integration
- Ein Worker für jeden Cloudflare-Tarif, Logpush für Enterprise-Zonen
- Besuche von 27 bekannten KI-, Such- und SEO-Crawlern in Echtzeit, darunter GPTBot, ClaudeBot und PerplexityBot
- IP-Verifizierung anhand der IP-Bereiche, die die Betreiber veröffentlichen – gefälschte Anfragen werden markiert
- Gecrawlte Seiten, Besuche pro Tag und Antwortstatus für jeden Bot
- Antworten bleiben unverändert – die Meldung läuft im Hintergrund
- Ein Ingest-Token, das nur als Hash gespeichert wird und sich jederzeit rotieren lässt
Anwendungsfälle
Das können Sie tun mit Cloudflare und AutoSEO
Sehen, welche KI-Crawler Ihre Website lesen
Finden Sie heraus, ob GPTBot, ClaudeBot, PerplexityBot und Google-Extended Ihre Seiten tatsächlich abrufen – und wie oft.
Echte Bots von Fälschungen trennen
Jede Anfrage wird mit den veröffentlichten IP-Bereichen des Betreibers abgeglichen, damit gefälschte User Agents Ihre Zahlen nicht verzerren.
Crawl-Fehler früh erkennen
Statuscodes pro Anfrage zeigen, wann KI-Crawler auf Weiterleitungen oder Fehler statt auf Ihre Inhalte stoßen.
Prüfen, ob neue Seiten gecrawlt werden
Kontrollieren Sie nach dem Veröffentlichen oder Aktualisieren von Inhalten in der Liste der gecrawlten Seiten, ob KI-Crawler sie abrufen.
Einrichtung
Cloudflare in vier Schritten verbinden – in jedem Tarif.
- 1 Schritt 1
Ingest-Token erstellen
Öffnen Sie in Ihrem Projekt Analytics → Bot Traffic → Sync → Cloudflare und erstellen Sie ein Token. Es wird nur einmal angezeigt.
- 2 Schritt 2
Worker bereitstellen
Laden Sie das Worker-Skript herunter – es enthält keine Secrets – und deployen Sie es mit Wrangler oder im Cloudflare-Dashboard. Hinterlegen Sie das Token als Secret AUTOSEO_TOKEN.
- 3 Schritt 3
Route hinzufügen
Leiten Sie Ihre Website mit einer Workers Route wie example.com/* durch den Worker. Antworten werden unverändert durchgereicht.
- 4 Schritt 4
Bot-Besuche verfolgen
Anfragen von Crawlern werden gemeldet, sobald sie eintreffen. Im Enterprise-Tarif kann ein Logpush-Job an AutoSEO den Worker ersetzen.
FAQ
Häufige Fragen
Wie tracke ich KI-Crawler mit Cloudflare?
Erstellen Sie in AutoSEO ein Ingest-Token, stellen Sie den AutoSEO-Worker mit diesem Token als Secret bereit und legen Sie eine Route für Ihre Website an. Danach wird jede Anfrage eines bekannten KI- oder Such-Crawlers in Echtzeit an AutoSEO gemeldet.
Verändert der Worker meine Antworten?
Nein. Er leitet jede Anfrage an Ihren Origin weiter und gibt die Antwort unverändert zurück. Nur Anfragen bekannter Crawler-User-Agents lösen eine Meldung im Hintergrund aus, und eine fehlgeschlagene Meldung beeinträchtigt die Seite nie.
Brauche ich einen Cloudflare-Enterprise-Tarif?
Nein. Der Worker läuft in jedem Cloudflare-Tarif; seine Anfragen zählen zu Ihrem normalen Workers-Kontingent. Logpush ist eine Alternative für Enterprise-Zonen, die HTTP-Request-Logs als komprimiertes NDJSON sendet – gespeichert werden nur Crawler-Anfragen.
Welche Crawler erkennt AutoSEO?
27 KI-, Such- und SEO-Crawler, darunter GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Googlebot, Bingbot, Applebot-Extended, Meta-ExternalAgent, Bytespider und CCBot. Jeder andere Traffic wird ignoriert.
Welche Daten sendet der Worker an AutoSEO?
Eine Zeile pro Crawler-Anfrage: Zeitstempel, IP-Adresse, Methode, Host, Pfad, Statuscode, User Agent und Antwortgröße. Anfragen menschlicher Besucher werden nicht gemeldet.
Was, wenn meine Website nicht über Cloudflare läuft?
AutoSEO nimmt auch Akamai DataStream 2 an, bietet eine NDJSON-Ingest-API für nginx, Apache oder jedes Backend und erlaubt den manuellen Upload von Logdateien bis 1 GB.
Bot-Traffic-Integrationen
Weitere Integrationen dieser Kategorie
- AkamaiDataStream-2-Logs an Ihren HTTPS-Endpunkt in AutoSEO senden.
- Server logs / APINDJSON aus nginx, Apache oder jedem Backend senden – oder Logdateien hochladen.
- FastlyDemnächstEchtzeit-Log-Streaming von Fastly.
- AWS CloudFrontDemnächstEchtzeit-Logs aus Amazon-CloudFront-Distributionen.
Sehen Sie, welche KI-Crawler Ihre Website lesen
Starten Sie mit einem AutoSEO-Cloud-Workspace für 50 $/Monat – oder hosten Sie die Open-Source-Edition kostenlos selbst.