Bot-Traffic-Integrationen

KI-Crawler dort tracken, wo sie Ihre Website erreichen. Im CDN oder in Ihren Logs.

Verbinden Sie Cloudflare, Akamai oder Ihre Server-Logs, und AutoSEO erfasst jeden Besuch von GPTBot, ClaudeBot, PerplexityBot, Google-Extended und anderen KI-Crawlern – welche Seiten sie abrufen, wie oft und mit welchem Statuscode.

Für 50 $/Monat starten Kostenlos selbst hosten

Bot-Traffic-Integrationen

5 Integrationen

CloudflareKI-Crawler-Besuche per Cloudflare Worker oder Logpush streamen.
AkamaiDataStream-2-Logs an Ihren HTTPS-Endpunkt in AutoSEO senden.
Server logs / APINDJSON aus nginx, Apache oder jedem Backend senden – oder Logdateien hochladen.
FastlyDemnächstEchtzeit-Log-Streaming von Fastly.
AWS CloudFrontDemnächstEchtzeit-Logs aus Amazon-CloudFront-Distributionen.

Was Sie bekommen

Sehen Sie, was KI-Engines lesen, bevor sie antworten.

Jeder KI-Crawler, nach Zweck
Besuche werden nach Crawler, Unternehmen und Zweck gruppiert – Modelltraining, Suchindex oder Abruf für die Frage eines Nutzers. So unterscheiden Sie GPTBot von ChatGPT-User.
Gefälschte Bots erkannt
Anfragen werden mit den IP-Bereichen abgeglichen, die OpenAI, Anthropic, Perplexity, Google, Microsoft und Apple veröffentlichen. Die Listen werden täglich aktualisiert.
Seiten und Fehler je Crawler
Sehen Sie die URLs, die jeder Crawler abruft, und die, die mit 4xx oder 5xx scheitern. Wiederholte Fehler werden zu priorisierten Aufgaben.
Gestreamt oder hochgeladen
Streamen Sie per Cloudflare Worker, Logpush oder Akamai DataStream 2, senden Sie NDJSON aus jedem Backend oder laden Sie Logdateien bis 1 GB hoch.

FAQ

Häufige Fragen

Wie tracke ich KI-Crawler auf meiner Website?

Verbinden Sie eine Log-Quelle: einen Cloudflare Worker oder Logpush, Akamai DataStream 2 oder die Server-Log-API für nginx, Apache oder jedes andere Backend. AutoSEO erkennt KI-Crawler am User-Agent, prüft sie über IP-Bereiche und speichert nur Crawler-Anfragen.

Funktioniert die Cloudflare-Integration im kostenlosen Tarif?

Ja. Der Cloudflare Worker funktioniert in jedem Tarif; Logpush setzt einen Enterprise-Tarif voraus. Der Worker reicht Antworten unverändert durch und meldet Bot-Besuche im Hintergrund.

Kann ich stattdessen Server-Logdateien hochladen?

Ja. Laden Sie Access-Logs bis 1 GB hoch, auch gzip-komprimiert – im Combined-Format von nginx oder Apache, im W3C/IIS-Format, als Cloudflare- oder Akamai-JSON oder als NDJSON. Für laufende Daten senden Sie NDJSON an die Ingest-API; Beispiele für nginx, Vector und Fluent Bit finden Sie in der App.

Welche KI-Crawler erkennt AutoSEO?

Unter anderem GPTBot, OAI-SearchBot und ChatGPT-User von OpenAI, ClaudeBot und Claude-User von Anthropic, PerplexityBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent, Bytespider, Amazonbot und CCBot – dazu Googlebot, Bingbot und gängige SEO-Crawler.

Werden Fastly und AWS CloudFront unterstützt?

Beide Connectoren folgen demnächst. Bis dahin senden Sie deren Logs über die Server-Log-API oder laden Logdateien hoch.

Speichert AutoSEO die Anfragen meiner menschlichen Besucher?

Nein. Zeilen von normalen Besuchern werden ignoriert; gespeichert werden nur Anfragen bekannter Crawler, und doppelte Zeilen werden übersprungen.

Ist das Tracking von KI-Bots kostenlos?

Ja. Alle Bot-Traffic-Connectoren sind Teil der Open-Source-App und kostenlos selbst hostbar. AutoSEO Cloud enthält sie in einem verwalteten Workspace für 50 $ im Monat, inklusive 10 $ für KI- und Datennutzung.

Alle Integrationen

Verbinden Sie die Tools, die Sie schon nutzen

Erfahren Sie, welche KI-Crawler Ihre Seiten lesen

Starten Sie mit einem AutoSEO-Cloud-Workspace für 50 $/Monat – oder hosten Sie die Open-Source-Edition kostenlos selbst.