Bot-Traffic-Integrationen
Server-Logs-Integration
Senden Sie Access-Logs aus nginx, Apache oder jedem Backend an die Ingest-API von AutoSEO – oder laden Sie eine Logdatei hoch – und sehen Sie, welche KI-Crawler Ihre Seiten lesen, wie oft und mit welchen Statuscodes.
Überblick
Das bekommen Sie mit der Log-Auswertung
- Eine NDJSON-Ingest-API mit Bearer-Token, gzip-Bodies werden automatisch erkannt
- Upload von Logdateien bis 1 GB: nginx, Apache, Cloudflare, Akamai, NDJSON oder IIS, unkomprimiert oder als .gz
- Fertige Konfigurationen für nginx, Vector und Fluent Bit
- Besuche von 27 bekannten KI-, Such- und SEO-Crawlern; andere Zeilen werden ignoriert
- IP-Verifizierung anhand veröffentlichter Crawler-IP-Bereiche, gefälschte Anfragen werden markiert
- Doppelte Anfragen werden übersprungen – ein erneut gesendetes Log schadet nicht
Anwendungsfälle
Das können Sie tun mit Ihren Server-Logs und AutoSEO
KI-Crawler ohne CDN tracken
Sie hosten auf eigenen Servern oder bei einem Anbieter ohne Log-Streaming? Ihre Access-Logs genügen.
Historie mit einem Upload auswerten
Laden Sie das Access-Log des letzten Monats hoch und sehen Sie, welche KI-Crawler Sie besucht haben, bevor Sie den Live-Import eingerichtet haben.
Arten von KI-Crawlern unterscheiden
Sehen Sie Trainings-Crawler wie GPTBot, Such-Crawler wie OAI-SearchBot und nutzerausgelöste Abrufe wie ChatGPT-User getrennt voneinander.
Fehler für Bots finden
Statuscodes pro Anfrage zeigen, welche Seiten KI-Crawler nicht abrufen können – damit Sie sie beheben, bevor sie aus Antworten verschwinden.
Einrichtung
In vier Schritten starten – live oder per Datei.
- 1 Schritt 1
Ingest-Token erstellen
Öffnen Sie in Ihrem Projekt Analytics → Bot Traffic → Sync → Server Logs / API und erstellen Sie ein Token. Es wird nur einmal angezeigt.
- 2 Schritt 2
Access-Logs als JSON schreiben
Nutzen Sie das nginx-Logformat aus dem Sync-Tab oder senden Sie eigenes NDJSON mit timestamp, user_agent und path – dazu ip und status für Verifizierung und Fehleranalyse.
- 3 Schritt 3
An AutoSEO senden
Senden Sie die Zeilen per POST mit Authorization: Bearer und Ihrem Token – oder nutzen Sie die Konfigurationen für Vector und Fluent Bit, die nur Crawler-Anfragen weiterleiten.
- 4 Schritt 4
Oder eine Logdatei hochladen
Klicken Sie in Bot Traffic auf Upload Logs, wählen Sie das Format oder lassen Sie es erkennen und laden Sie eine Datei bis 1 GB hoch.
FAQ
Häufige Fragen
Wie finde ich KI-Crawler in meinen Server-Logs?
Laden Sie ein Access-Log in AutoSEO hoch oder senden Sie Ihre Logzeilen an die Ingest-API. AutoSEO erkennt 27 KI-, Such- und SEO-Crawler am User Agent, verifiziert sie anhand ihrer veröffentlichten IP-Bereiche und zeigt Besuche je Bot, Seite und Statuscode.
Welche Logformate unterstützt AutoSEO?
nginx und Apache im Format combined, common und vhost_combined, Cloudflare-Logpush-JSON, Akamai-DataStream-2-JSON, NDJSON und W3C-Extended-Logs aus IIS – mit einer heuristischen Erkennung für eigene Formate. Uploads können unkomprimiert oder gzip-komprimiert sein.
Welche Limits hat die Ingest-API?
Bis zu 16 MB und 20.000 Zeilen pro Anfrage sowie 1.200 Anfragen pro Minute und Token. Größere Logdateien laden Sie in der App hoch, jeweils bis 1 GB.
Speichert AutoSEO meine vollständigen Access-Logs?
Nein. Nur Anfragen bekannter Crawler werden behalten; Zeilen menschlicher Besucher werden ignoriert. Duplikate mit gleichem Bot, Zeitstempel, IP und Pfad werden übersprungen.
Wie ist die Ingest-API abgesichert?
Jede Anfrage braucht das Ingest-Token Ihres Projekts als Bearer-Token. AutoSEO speichert davon nur einen Hash, und Sie können es jederzeit rotieren oder widerrufen.
Bot-Traffic-Integrationen
Weitere Integrationen dieser Kategorie
- CloudflareKI-Crawler-Besuche per Cloudflare Worker oder Logpush streamen.
- AkamaiDataStream-2-Logs an Ihren HTTPS-Endpunkt in AutoSEO senden.
- FastlyDemnächstEchtzeit-Log-Streaming von Fastly.
- AWS CloudFrontDemnächstEchtzeit-Logs aus Amazon-CloudFront-Distributionen.
Sehen Sie, welche KI-Crawler Ihre Website lesen
Starten Sie mit einem AutoSEO-Cloud-Workspace für 50 $/Monat – oder hosten Sie die Open-Source-Edition kostenlos selbst.