Können KI-Suchmaschinen Ihre Website lesen?

Ob KI-Suchmaschinen Ihre Website erreichen und lesen können: was Ihre robots.txt 15 KI- und Such-Crawlern erlaubt (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, Googlebot, Bingbot, Applebot-Extended, Meta-ExternalAgent, Amazonbot, CCBot), ob der Inhalt ohne JavaScript im HTML steht, welche JSON-LD-Typen und Metadaten die Seite hat, ob llms.txt und eine XML-Sitemap existieren sowie HTTP-Grundlagen wie Status, HTTPS, Weiterleitungen und Antwortzeit.

Nein. Er misst die Voraussetzungen – ob KI-Suchmaschinen Ihre Seiten lesen und zitieren können –, nicht deren Antworten. Um tatsächliche Antworten zu sehen, müssen Prompts über einen Zeitraum an die Engines gestellt werden, denn Antworten schwanken von Lauf zu Lauf. Genau das macht das KI-Sichtbarkeits-Tracking von AutoSEO: Es stellt Ihre Prompts regelmäßig an ChatGPT, Perplexity, Gemini, Claude, Google AI Overviews und weitere Engines und misst Sichtbarkeit, Position, Zitierungen und Sentiment.

Aus fünf gewichteten Kategorien: Zugang für KI-Crawler 30 %, ohne JavaScript lesbarer Inhalt 25 %, Struktur und Metadaten 20 %, HTTP und Performance 15 %, Discovery-Dateien 10 %. Innerhalb des Crawler-Zugangs zählen KI-Such-Crawler 65 %, Abrufe auf Nutzeranfrage 20 % und Trainings-Crawler 15 %. Jedes Problem erscheint mit seiner Priorität in der Maßnahmenliste, sortiert nach Wirkung.

Das ist eine geschäftliche Entscheidung, und der Check behandelt sie so: Blockierte Trainings-Crawler kosten nur wenige Punkte und erscheinen mit geringer Priorität. Eine Sperre für einen Trainings-Crawler blockiert nicht den Such-Crawler desselben Anbieters – GPTBot und OAI-SearchBot bzw. ClaudeBot und Claude-SearchBot werden getrennt gesteuert –, und eine Sperre von Google-Extended wirkt sich nicht auf die Google-Suche oder AI Overviews aus.

Wie ein Crawler nach RFC 9309 und der Google-Dokumentation: Ein Crawler befolgt die Gruppen, die ihn nennen (ohne Beachtung der Groß- und Kleinschreibung), und fällt nur dann auf User-agent: zurück, wenn es keine gibt; die längste passende Regel gewinnt, bei Gleichstand gewinnt Allow; die Platzhalter ` und $` werden unterstützt. Antwortet die robots.txt mit einem Serverfehler, gilt „alles gesperrt“, bei 404 „alles erlaubt“. Die Tabelle zeigt die entscheidende Regel samt Zeilennummer.

Sie hilft, ist aber nicht entscheidend. llms.txt ist eine vorgeschlagene Konvention (llmstxt.org) für eine Markdown-Zusammenfassung einer Website für KI-Assistenten. Die großen KI-Crawler dokumentieren nicht, dass sie die Datei nutzen, deshalb erhält sie im Check nur 3 von 100 Punkten. Eine XML-Sitemap ist wichtiger.

Ihr CDN oder Ihre Firewall hat unserem Checker statt Ihrer Inhalte eine Challenge-Seite geliefert (etwa einen Cloudflare-Bot-Check). Unser Checker gibt sich offen als AutoSEO-Check/1.0 zu erkennen; KI-Crawler werden in der Regel genauso behandelt, und manche CDNs blockieren KI-Crawler standardmäßig. Erlauben Sie die verifizierten Crawler, in denen Sie sichtbar sein möchten.

Nein, bewusst nicht. Er liest das HTML genau so, wie ein Crawler es erhält. Erscheinen Ihre Inhalte erst nach dem Ausführen von JavaScript, sehen die meisten KI-Crawler sie nicht – und der Check auch nicht.

Ja. Geben Sie die vollständige URL ein. Analysiert wird dann diese Seite, und die robots.txt wird für ihren Pfad ausgewertet; robots.txt, llms.txt und Sitemap werden aus dem Stammverzeichnis der Website gelesen.

Es gibt keine Anmeldung und keine E-Mail-Abfrage. Die geprüfte Domain und das Ergebnis werden nicht in einer Datenbank gespeichert: Ergebnisse liegen 10 Minuten im Arbeitsspeicher, damit wiederholte Checks die Website nicht erneut abrufen, und Ihre IP-Adresse wird im Arbeitsspeicher zur Begrenzung der Anfragen verwendet. Der Check ruft nur öffentliche URLs ab und verweigert private oder interne Adressen.