KI-Crawlability
Prüfen Sie die KI-Crawlability Ihrer Website. Und beheben Sie, was Bots blockiert.
AutoSEO prüft Ihre robots.txt für 27 KI- und Such-Crawler, ruft Ihre Seiten mit deren echten User-Agents ab, analysiert das rohe HTML, das sie erhalten, und validiert Ihre llms.txt. Sie erhalten einen Score von 0 bis 100, nach Schweregrad sortierte Befunde und Fixes, die Sie direkt übernehmen können.
Warum das wichtig ist
Blockierte Seiten werden nicht zitiert. Die meisten Sperren sind ein Versehen.
Eine zu breite Disallow-Regel, eine Firewall, die unbekannte Bots herausfordert, oder eine Seite, die nur mit JavaScript rendert: So bleiben KI-Crawler draußen, ohne dass es jemand merkt. Das sieht nach schwacher AI Visibility aus, die Ursache ist aber technisch.
- 01
Die meisten KI-Crawler führen kein JavaScript aus
Sie lesen das rohe HTML. Erscheint Ihr Inhalt erst nach clientseitigem Rendering, sehen sie nur eine leere App-Hülle.
- 02
robots.txt-Regeln greifen ineinander
Wildcard-Gruppen, Gruppen je Bot und Crawl-Delays wirken auf eine Weise zusammen, die von Hand schwer zu durchschauen ist – erst recht bei 27 User-Agents.
- 03
CDNs behandeln Bots anders
Ein Bot-Schutz kann GPTBot eine Challenge ausliefern, während Browser die normale Seite sehen. Das zeigt nur eine Anfrage mit dem User-Agent des Crawlers.
- Geprüfte Crawler
- 27
- Gegen Ihre robots.txt
- Prüfbereiche
- 9
- Von robots.txt bis Antwortzeit
- Punkte-Score
- 100
- Gewichtet nach Zweck des Crawlers
- Self-Hosting
- $0
- MIT-Lizenz, alle Funktionen
Was der Check abdeckt
Neun Bereiche, ein Score – Fixes inklusive.
robots.txt je KI-Crawler
Erlaubt, teilweise oder ganz blockiert – für jeden KI-Such-, Assistenten-, Trainings- und SEO-Crawler, mit der genauen Regel und Zeile, die entscheidet.
Bot-Zugriff vs. Browser
Ihre Seiten, abgerufen mit dem echten User-Agent jedes Crawlers und verglichen mit einer Browser-Anfrage – so fallen Firewall-Sperren, Challenges und Fehler auf.
Rendering im rohen HTML
Ob das HTML, das Crawler erhalten, Ihre Inhalte enthält oder nur eine App-Hülle – samt erkannten Frameworks.
llms.txt prüfen und erstellen
Prüft /llms.txt und /llms-full.txt gegen das llmstxt.org-Format und erstellt einen Entwurf aus Ihrer Seitenstruktur – per Vorlage oder von der KI geschrieben.
Meta Robots, Sitemaps, Schema
Meta-Robots- und X-Robots-Tag-Direktiven, Sitemap-Erkennung, strukturierte Daten, Canonicals, Time to First Byte und HTML-Größe.
Zeitpläne und Warnungen
Lassen Sie den Check wöchentlich oder monatlich laufen und erhalten Sie eine Benachrichtigung in der App und per E-Mail, wenn der Score fällt.
So funktioniert es
Von der Domain zur Fix-Liste in etwa einer Minute.
- 1 Schritt 1
Check starten
Ihre Startseite wird immer geprüft. Ergänzen Sie wichtige Seiten wie Preise, Produkte oder Doku – oder lassen Sie AutoSEO Seiten aus Ihrer Sitemap auswählen.
- 2 Schritt 2
Score und Befunde lesen
Der Score gewichtet KI-Such- und nutzerausgelöste Crawler dreimal so stark wie Trainings-Crawler. Die Befunde reichen von kritisch bis bestanden.
- 3 Schritt 3
Fix übernehmen und neu prüfen
Befunde enthalten fertige Snippets, etwa eine robots.txt-Gruppe, die blockierte Crawler wieder zulässt und Ihre bestehenden Ausschlüsse beibehält.
FAQ
Häufige Fragen
Was ist KI-Crawlability?
KI-Crawlability beschreibt, ob die Crawler hinter ChatGPT, Claude, Perplexity, Gemini und anderen KI-Engines Ihre Seiten erreichen und lesen können. Sie hängt von den Regeln in der robots.txt ab, davon, wie Server und CDN auf Bot-User-Agents reagieren, und davon, ob Ihre Inhalte ohne JavaScript im HTML stehen.
Wie prüfe ich, ob GPTBot meine Website crawlen darf?
Starten Sie in AutoSEO einen Crawlability-Check. Er liest Ihre robots.txt für GPTBot, OAI-SearchBot, ChatGPT-User und 24 weitere Crawler und ruft Ihre Seiten mit deren echten User-Agents ab. Für jeden Bot sehen Sie, ob der Zugriff erlaubt, teilweise oder ganz blockiert ist – und warum.
Sollte ich KI-Trainings-Crawler blockieren?
Das ist eine geschäftliche Entscheidung, und AutoSEO behandelt sie auch so. Trainings-Crawler wie GPTBot, ClaudeBot und Google-Extended werden getrennt von Such- und nutzerausgelösten Crawlern ausgewiesen: Blockierte Trainings-Bots sind eine Warnung, blockierte KI-Such-Bots kritisch, weil sie Sie aus Live-Antworten ausschließen.
Was ist eine llms.txt und brauche ich eine?
Die llms.txt ist eine vorgeschlagene Markdown-Datei im Root Ihrer Domain, die Sprachmodellen eine kurze Übersicht Ihrer Website mit Links zu den wichtigsten Seiten gibt – nach dem Format von llmstxt.org. Sie ist optional und zählt 10 der 100 Punkte. AutoSEO prüft eine vorhandene Datei oder erstellt einen Entwurf, den Sie prüfen und veröffentlichen.
Wie wird der Crawlability-Score berechnet?
Der Score setzt sich aus neun gewichteten Bereichen zusammen: robots.txt-Zugriff 30, HTTP-Zugriff für Bots 20, serverseitiges Rendering 15, llms.txt 10, Meta Robots 10, Sitemap 5, strukturierte Daten 5, Canonical 3 sowie Antwortzeit und Seitengewicht 2. SEO-Tool-Crawler werden angezeigt, aber nicht bewertet.
Worin unterscheidet sich das von einem Site Audit?
Das Site Audit crawlt Ihre gesamte Website mit 29 technischen SEO-Checks und Lighthouse. Der Crawlability-Check konzentriert sich auf KI-Crawler: robots.txt-Regeln je Bot, Antworten auf Bot-User-Agents, Rendering im rohen HTML und llms.txt. Nutzen Sie beides.
Ist der KI-Crawlability-Check kostenlos?
Der Crawlability-Check ist Teil der Open-Source-App AutoSEO und beim Self-Hosting mit allen Funktionen kostenlos. AutoSEO Cloud bietet Ihnen einen verwalteten Workspace für 50 $ pro Monat, KI- und Datennutzung im Wert von 10 $ inklusive. KI-geschriebene llms.txt-Entwürfe können auch über Ihr eigenes Claude Code oder Codex per lokalem Agenten laufen.
Passende Funktionen
Zusammen noch stärker. Eine Plattform, ein Datensatz.
- KI-Crawler-AnalyseWelche KI-Crawler Ihre Seiten abrufen, wie oft – und wie Ihr Server darauf antwortet.
- Site AuditCrawlen Sie Ihre Website mit 29 technischen SEO-Prüfungen, Lighthouse und Vergleichen.
- KI-SEO-AufgabenBelegbare GEO- und SEO-Aufgaben, priorisiert und an Jira, Linear oder Asana übergeben.
- KI-Zitate trackenWelche Seiten KI-Engines zu Ihren Prompts zitieren – und wo Sie gelistet sein sollten.
Finden Sie heraus, was KI-Crawler auf Ihrer Website sehen
Starten Sie mit einem AutoSEO-Cloud-Workspace für 50 $/Monat – oder hosten Sie die Open-Source-Edition kostenlos selbst.