Bot-Traffic-Integrationen
Akamai-Integration
Leiten Sie einen Stream aus Akamai DataStream 2 an Ihren AutoSEO-Endpunkt und sehen Sie, welche KI-Crawler Ihre Seiten abrufen, welche Statuscodes sie erhalten und ob sie echt sind.
Überblick
Das bekommen Sie mit der Akamai-Integration
- Zustellung per DataStream 2 an einen Custom-HTTPS-Endpunkt im JSON-Format, gzip erlaubt
- Authentifizierung mit einem Bearer-Token in einem eigenen Header – nur als Hash gespeichert
- Besuche von 27 bekannten KI-, Such- und SEO-Crawlern; alle anderen Zeilen werden ignoriert
- IP-Verifizierung anhand der IP-Bereiche, die die Betreiber veröffentlichen – gefälschte Anfragen werden markiert
- Gecrawlte Seiten, Besuche pro Tag und Antwortstatus für jeden Bot
- Daten erscheinen wenige Minuten nach dem Aktivieren des Streams
Anwendungsfälle
Das können Sie tun mit Akamai und AutoSEO
KI-Crawler am Edge sehen
Ihr CDN sieht jede Anfrage – auch die, die am Edge aus dem Cache beantwortet werden und nie in Ihren Origin-Logs auftauchen.
Gefälschte Crawler erkennen
Anfragen, deren User Agent sich als GPTBot oder ClaudeBot ausgibt, die aber von außerhalb der veröffentlichten IP-Bereiche kommen, werden als gefälscht markiert.
Fehler für Bots erkennen
Statuscodes pro Anfrage zeigen, wann KI-Crawler Weiterleitungen, 4xx- oder 5xx-Antworten statt Ihrer Inhalte erhalten.
Einrichtung
Akamai in vier Schritten verbinden – mit DataStream 2.
- 1 Schritt 1
Ingest-Token erstellen
Öffnen Sie in Ihrem Projekt Analytics → Bot Traffic → Sync → Akamai und erstellen Sie ein Token. Es wird nur einmal angezeigt.
- 2 Schritt 2
DataStream-2-Stream anlegen
Legen Sie im Akamai Control Center einen Stream für Ihre Property an – mit dem Logformat JSON und den Feldern reqTimeSec, cliIP, reqHost, reqMethod, reqPath, queryStr, statusCode, UA und totalBytes.
- 3 Schritt 3
Custom-HTTPS-Ziel festlegen
Nutzen Sie die Endpunkt-URL aus AutoSEO, keine Authentifizierung und einen eigenen Header Authorization: Bearer mit Ihrem Token. gzip-Komprimierung ist erlaubt.
- 4 Schritt 4
Stream aktivieren
Besuche von Crawlern erscheinen innerhalb weniger Minuten unter Bot Traffic.
FAQ
Häufige Fragen
Wie tracke ich KI-Crawler mit Akamai?
Legen Sie einen Stream in DataStream 2 mit einem Custom-HTTPS-Ziel an, das auf Ihren AutoSEO-Ingest-Endpunkt zeigt und Ihr Ingest-Token im Authorization-Header mitsendet. AutoSEO behält nur Anfragen bekannter Crawler und zeigt sie unter Bot Traffic.
Welche Felder aus DataStream 2 braucht AutoSEO?
reqTimeSec, cliIP, reqHost, reqMethod, reqPath, queryStr, statusCode, UA und totalBytes im Logformat JSON. Die Client-IP wird gebraucht, um Crawler anhand ihrer veröffentlichten IP-Bereiche zu verifizieren.
Speichert AutoSEO alle meine Akamai-Logs?
Nein. Zeilen von menschlichen Besuchern und unbekannten Bots werden ignoriert, doppelte Crawler-Anfragen übersprungen. Gespeichert werden nur Besuche der 27 bekannten KI-, Such- und SEO-Crawler.
Wie ist der Akamai-Ingest-Endpunkt abgesichert?
Jede Anfrage braucht das Ingest-Token Ihres Projekts, das AutoSEO nur als Hash speichert. Sie können das Token jederzeit rotieren oder widerrufen; das alte funktioniert dann sofort nicht mehr.
Bot-Traffic-Integrationen
Weitere Integrationen dieser Kategorie
- CloudflareKI-Crawler-Besuche per Cloudflare Worker oder Logpush streamen.
- Server logs / APINDJSON aus nginx, Apache oder jedem Backend senden – oder Logdateien hochladen.
- FastlyDemnächstEchtzeit-Log-Streaming von Fastly.
- AWS CloudFrontDemnächstEchtzeit-Logs aus Amazon-CloudFront-Distributionen.
Sehen Sie, welche KI-Crawler Ihren Edge erreichen
Starten Sie mit einem AutoSEO-Cloud-Workspace für 50 $/Monat – oder hosten Sie die Open-Source-Edition kostenlos selbst.