Lesezeit: 12 Minuten

Welche KI-Crawler dürfen auf meine Website zugreifen?

So steuern Unternehmen ihre Sichtbarkeit in KI-Suchen, den Zugriff auf Inhalte und die mögliche Nutzung für das Modelltraining.

ChatGPT, Claude, Perplexity, Gemini und andere KI-Systeme greifen auf öffentlich verfügbare Inhalte zu. Dabei kommt jedoch nicht immer derselbe Crawler zum Einsatz.

Einige Bots bauen Suchindizes auf. Andere rufen eine Seite erst auf, wenn Nutzer:innen eine konkrete Frage stellen. Wieder andere sammeln öffentlich zugängliche Inhalte, die möglicherweise für die Weiterentwicklung von KI-Modellen verwendet werden.

KI-Crawler greifen auf eine Unternehmenswebsite zu und werden über die robots.txt erlaubt oder blockiert

Deshalb lautet die entscheidende Frage nicht einfach: „KI-Crawler erlauben oder blockieren?“

Unternehmen sollten vielmehr festlegen:

  • In welchen KI-Suchsystemen möchten wir sichtbar sein?
  • Sollen KI-Assistenten unsere Inhalte bei konkreten Nutzeranfragen abrufen können?
  • Dürfen Inhalte für das Training zukünftiger KI-Modelle verwendet werden?
  • Welche Bereiche der Website müssen grundsätzlich geschützt bleiben?

Mit einer differenzierten Konfiguration lassen sich diese Ziele weitgehend voneinander trennen.

KI-Crawler und Website-Zugriff – das Wichtigste

  • Nicht jeder KI-Crawler erfüllt denselben Zweck.
  • Such-Crawler unterstützen die Auffindbarkeit in KI-gestützten Suchsystemen.
  • Trainings-Crawler sammeln Inhalte, die möglicherweise für die Entwicklung von KI-Modellen verwendet werden.
  • Nutzerbezogene Fetcher rufen Seiten auf, wenn eine Person eine konkrete Anfrage stellt.
  • OpenAI, Anthropic und Google bieten getrennte Steuerungsmöglichkeiten für Suche und Modelltraining.
  • Die robots.txt regelt den Zugriff kooperativer Crawler, schützt aber keine vertraulichen Inhalte.
  • Firewalls, CDN-Regeln und Bot-Schutz können Crawler trotz erlaubender robots.txt blockieren.
  • Das Zulassen eines Crawlers garantiert weder Indexierung noch Zitate oder Empfehlungen.

OpenAI unterscheidet beispielsweise zwischen OAI-SearchBot für ChatGPT Search, GPTBot für eine mögliche Nutzung beim Modelltraining und ChatGPT-User für nutzerbezogene Abrufe. Anthropic verwendet ebenfalls getrennte Bots für Suche, Training und Nutzeranfragen.

Was ist ein KI-Crawler?

Ein Crawler ist ein automatisiertes Programm, das öffentlich erreichbare Webseiten abruft und verarbeitet. Klassische Suchmaschinen setzen Crawler bereits seit Jahrzehnten ein, um Inhalte zu entdecken und Suchindizes aufzubauen.

Im Zusammenhang mit KI-Systemen lassen sich drei wesentliche Arten unterscheiden.

Diese Bots sammeln Inhalte, damit Seiten später in Suchergebnissen oder KI-generierten Antworten gefunden und verlinkt werden können.

Dazu gehören unter anderem:

  • Googlebot
  • Bingbot
  • OAI-SearchBot
  • PerplexityBot
  • Claude-SearchBot

Wer diese Crawler vollständig blockiert, kann die Sichtbarkeit im jeweiligen Suchsystem erheblich einschränken.

Trainings-Crawler sammeln öffentlich zugängliche Inhalte, die möglicherweise zur Entwicklung oder Verbesserung generativer KI-Modelle verwendet werden.

Beispiele sind:

  • GPTBot
  • ClaudeBot
  • der Steuerungseintrag Google-Extended

Diese Bots beziehungsweise Steuerungseinträge lassen sich getrennt von der klassischen Suchsichtbarkeit behandeln.

Diese Systeme rufen eine Seite auf, weil eine Person eine konkrete Frage gestellt, einen Link geöffnet oder eine Funktion ausgelöst hat.

Dazu gehören beispielsweise:

  • ChatGPT-User
  • Perplexity-User
  • Claude-User

Für nutzerbezogene Abrufe gelten teilweise andere Regeln als für automatisches Crawling. OpenAI weist darauf hin, dass robots.txt-Regeln bei ChatGPT-User möglicherweise nicht greifen. Perplexity erklärt, dass Perplexity-User die robots.txt in der Regel ignoriert, weil der Abruf von einer Person ausgelöst wurde. Anthropic gibt hingegen an, dass seine drei Bots die üblichen robots.txt-Anweisungen beachten.

Welche wichtigen KI-Crawler gibt es?

Übersicht für Unternehmenswebsites

Tabelle seitlich verschieben, um alle Inhalte zu sehen.

Anbieter Crawler oder Steuerung Zweck Typische Entscheidung
Google Googlebot Google Search, AI Overviews und AI Mode Erlauben, wenn Google-Sichtbarkeit gewünscht ist
Google Google-Extended Steuerung von Gemini-Training und Grounding außerhalb der
Google-Suche		 Bewusst separat entscheiden
Microsoft Bingbot Bing-Index und darauf aufbauende Such- und Copilot-Funktionen Erlauben, wenn Bing- und Copilot-Sichtbarkeit gewünscht ist
OpenAI OAI-SearchBot ChatGPT Search Erlauben, wenn Sichtbarkeit in ChatGPT gewünscht ist
OpenAI GPTBot Mögliche Nutzung für das Training generativer Modelle Eigene strategische Entscheidung
OpenAI ChatGPT-User Abrufe auf konkrete Nutzeranfrage Meist zulassen, sofern Inhalte öffentlich sind
Perplexity PerplexityBot Suchindex und Quellen in Perplexity Erlauben, wenn Perplexity-Sichtbarkeit gewünscht ist
Perplexity Perplexity-User Seitenabruf auf konkrete Nutzeranfrage Nicht als verlässlichen Zugriffsschutz betrachten
Anthropic Claude-SearchBot Suche und Quellenfindung in Claude Erlauben, wenn Claude-Sichtbarkeit gewünscht ist
Anthropic ClaudeBot Mögliche Nutzung für das Modelltraining Eigene strategische Entscheidung
Anthropic Claude-User Abrufe auf konkrete Nutzeranfrage Meist zulassen, sofern Inhalte öffentlich sind

Diese Übersicht beschreibt die von den Anbietern veröffentlichten Funktionen. Die technische Ausgestaltung und die Namen der Bots können sich weiterentwickeln. Deshalb sollten Unternehmen die offiziellen Dokumentationen regelmäßig kontrollieren.

Googlebot und Google-Extended: Suche und Gemini getrennt betrachten

Für die Sichtbarkeit in Google Search, AI Overviews und AI Mode ist weiterhin der Zugriff durch Googlebot entscheidend.

Google erklärt ausdrücklich, dass die KI-Funktionen Teil der Google-Suche sind. Wer die Darstellung in diesen Suchfunktionen beeinflussen möchte, verwendet daher die bekannten Steuerungsmöglichkeiten für Googlebot, beispielsweise:

  • robots.txt
  • noindex
  • nosnippet
  • max-snippet
  • data-nosnippet

Für AI Overviews ist kein eigener „KI-Crawler“ erforderlich. Ebenso gibt es kein spezielles Schema.org-Markup oder eine besondere KI-Datei, die eine Aufnahme auslöst.

Was steuert Google-Extended?

Google-Extended ist kein eigener Crawler mit einer separaten User-Agent-Zeichenfolge. Es handelt sich um einen Steuerungseintrag für die robots.txt.

Damit können Websitebetreiber:innen festlegen, ob bereits von Google gecrawlte Inhalte verwendet werden dürfen:

  • für das Training zukünftiger Gemini-Modelle,
  • für Gemini Apps,
  • für Gemini über die Vertex AI API,
  • für bestimmte Grounding-Funktionen außerhalb der klassischen Google-Suche.

Das Blockieren von Google-Extended beeinflusst laut Google weder die Aufnahme in Google Search noch die Rankings. Es entfernt eine Website daher auch nicht aus AI Overviews oder dem AI Mode der Google-Suche.

OpenAI: OAI-SearchBot, GPTBot und ChatGPT-User

OpenAI bietet eine klare Trennung zwischen Suche, Training und nutzerbezogenen Abrufen.

OAI-SearchBot

OAI-SearchBot dient der Auffindbarkeit in den Suchfunktionen von ChatGPT.

OpenAI empfiehlt, diesen Bot in der robots.txt zuzulassen und zusätzlich sicherzustellen, dass Firewall oder CDN die veröffentlichten IP-Bereiche nicht blockieren.

Websites, die OAI-SearchBot blockieren, werden laut OpenAI nicht als inhaltliche Quellen in ChatGPT-Suchantworten verwendet. Reine Navigationslinks können unter bestimmten Umständen dennoch erscheinen.

GPTBot

GPTBot ruft Inhalte ab, die möglicherweise zur Verbesserung und zum Training generativer OpenAI-Modelle verwendet werden.

Unternehmen können deshalb:

  • OAI-SearchBot erlauben,
  • GPTBot gleichzeitig blockieren.

Damit bleibt die grundsätzliche Auffindbarkeit in ChatGPT Search möglich, während das Unternehmen signalisiert, dass die gecrawlten Inhalte nicht für das Training verwendet werden sollen. OpenAI bestätigt, dass beide Einstellungen unabhängig voneinander funktionieren.

ChatGPT-User

ChatGPT-User kommt zum Einsatz, wenn Nutzer:innen oder Custom GPTs den Abruf einer bestimmten Webseite auslösen.

Dieser Agent crawlt das Web nicht automatisch. OpenAI weist allerdings darauf hin, dass robots.txt-Regeln bei diesen nutzerbezogenen Aktionen möglicherweise nicht anwendbar sind.

Vertrauliche oder kostenpflichtige Inhalte dürfen deshalb niemals nur durch eine robots.txt geschützt werden.

PerplexityBot und Perplexity-User

PerplexityBot

PerplexityBot erstellt beziehungsweise aktualisiert den Suchindex von Perplexity. Der Bot soll Websites in Suchantworten darstellen und als Quelle verlinken.

Perplexity erklärt, dass dieser Crawler nicht zum Training grundlegender KI-Modelle verwendet wird. Wer in Perplexity gefunden und zitiert werden möchte, sollte deshalb:

  • PerplexityBot in der robots.txt zulassen,
  • die offiziellen IP-Bereiche in der Firewall berücksichtigen,
  • wichtige Inhalte öffentlich und technisch erreichbar bereitstellen.

Perplexity-User

Perplexity-User ruft Inhalte ab, wenn Nutzer:innen eine konkrete Anfrage stellen. Laut Perplexity sammelt dieser Fetcher keine Inhalte für das Modelltraining.

Da es sich um einen nutzerbezogenen Abruf handelt, ignoriert Perplexity-User die robots.txt laut Anbieter in der Regel. Sensible Inhalte benötigen daher eine echte Zugangskontrolle.

Anthropic: Claude-SearchBot, ClaudeBot und Claude-User

Anthropic unterscheidet drei Bots.

Claude-SearchBot

Claude-SearchBot erfasst öffentliche Inhalte, um die Relevanz und Qualität der Suchantworten von Claude zu verbessern.

Wer diesen Bot blockiert, kann laut Anthropic die Sichtbarkeit und Genauigkeit der eigenen Inhalte in Claude-Suchergebnissen einschränken.

ClaudeBot

ClaudeBot sammelt öffentliche Webinhalte, die möglicherweise in Trainingsdatensätze für zukünftige Claude-Modelle einfließen.

Unternehmen können diesen Bot blockieren, ohne gleichzeitig Claude-SearchBot blockieren zu müssen.

Claude-User

Claude-User ruft Webseiten auf, wenn eine Nutzeranfrage den Zugriff auslöst. Wird dieser Bot blockiert, kann Claude die Inhalte bei solchen Anfragen nicht unmittelbar abrufen.

Anthropic erklärt, dass alle drei Bots die üblichen robots.txt-Anweisungen respektieren.

Welche KI-Crawler sollten Unternehmen erlauben?

Für die meisten Unternehmenswebsites ist folgende Grundstrategie sinnvoll:

Erlauben Sie in der Regel:

  • Googlebot
  • Bingbot
  • OAI-SearchBot
  • PerplexityBot
  • Claude-SearchBot

Dadurch schaffen Sie die technische Voraussetzung, in den jeweiligen Suchsystemen gefunden und gegebenenfalls als Quelle verlinkt zu werden.

Öffentlich zugängliche Unternehmens-, Leistungs- und Fachinhalte sollten grundsätzlich auch für nutzerbezogene Abrufe erreichbar sein.

Dazu zählen:

  • ChatGPT-User
  • Perplexity-User
  • Claude-User

Allerdings lassen sich nicht alle dieser Abrufe zuverlässig über die robots.txt steuern.

Die mögliche Verwendung von Inhalten für das Modelltraining ist eine eigene unternehmerische Entscheidung.

Dazu gehören insbesondere:

  • GPTBot
  • ClaudeBot
  • Google-Extended

Unternehmen können die Such-Crawler erlauben und Trainings-Crawler gleichzeitig blockieren. Dadurch muss die Entscheidung nicht pauschal für oder gegen alle KI-Systeme ausfallen.

Beispiel für eine differenzierte robots.txt

Das folgende vereinfachte Beispiel erlaubt klassische Such- und KI-Suchcrawler, blockiert jedoch bekannte Trainings-Crawler:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://www.beispiel.at/sitemap_index.xml

Die allgemeinen Regeln gelten weiterhin für Bots, die keine speziellere Gruppe besitzen. Deshalb sollten individuelle Regeln stets im Zusammenhang mit der gesamten Datei geprüft werden.

Diese Vorlage ist kein allgemeingültiger Standard. Sie muss unter anderem angepasst werden an:

  • das verwendete CMS,
  • geschützte Bereiche,
  • Shops und Kundenkonten,
  • Sprach- und Subdomain-Strukturen,
  • bestehende SEO-Plugins,
  • technische Schnittstellen,
  • die tatsächliche Unternehmensstrategie.

Warum die robots.txt kein Zugriffsschutz ist

Die robots.txt ist eine öffentlich abrufbare Datei mit Hinweisen für kooperative Crawler. Sie verhindert keinen technischen Zugriff und bietet keinen Schutz vor:

  • unerwünschten Bots,
  • Scraping-Tools, die Regeln ignorieren,
  • manuellen Aufrufen,
  • dem Zugriff über bekannte URLs,
  • nicht authentifizierten Schnittstellen,
  • Datenlecks durch falsch konfigurierte Systeme.

Google weist ausdrücklich darauf hin, dass die robots.txt nicht dazu dient, vertrauliche Inhalte zu verbergen oder eine Seite sicher aus dem Suchindex zu entfernen. Dafür sind je nach Ziel unter anderem ein Passwortschutz, eine Anmeldung oder ein noindex erforderlich.

Private Inhalte benötigen echte Zugangskontrollen

Dazu zählen beispielsweise:

  • Kundenportale,
  • interne Dokumente,
  • nicht öffentliche Preislisten,
  • personenbezogene Daten,
  • vertrauliche Downloads,
  • Mitgliederbereiche,
  • Entwicklungs- und Testsysteme.

Solche Inhalte sollten mit serverseitiger Authentifizierung und passenden Berechtigungen geschützt werden.

Warum ein „Allow“ in der robots.txt nicht immer ausreicht

Eine Website kann einen Crawler in der robots.txt erlauben und ihn dennoch technisch blockieren.

Mögliche Ursachen sind:

  • Web Application Firewalls,
  • Cloudflare- oder CDN-Regeln,
  • Sicherheitsplugins,
  • geografische Sperren,
  • Bot-Management-Systeme,
  • Rate Limits,
  • CAPTCHA-Challenges,
  • blockierte IP-Bereiche,
  • Fehlercodes wie 403 oder 429.

OpenAI und Perplexity veröffentlichen deshalb eigene IP-Bereiche. Perplexity empfiehlt ausdrücklich, bei einer WAF sowohl den User-Agent als auch die offiziellen IP-Daten zu berücksichtigen.

Die IP-Bereiche sollten nicht aus beliebigen Blogartikeln übernommen oder dauerhaft manuell gespeichert werden. Verwenden Sie ausschließlich die aktuellen offiziellen Endpunkte der Anbieter.

Vier mögliche Strategien für Unternehmenswebsites

Geeignet für Unternehmen, die ihre öffentlichen Inhalte möglichst breit auffindbar machen möchten.

  • Such-Crawler erlauben
  • nutzerbezogene Abrufe zulassen
  • Trainings-Crawler nach eigener Entscheidung erlauben
  • öffentliche Inhalte technisch und inhaltlich optimieren

Für viele Unternehmen ist dies ein sinnvoller Mittelweg.

  • Googlebot erlauben
  • OAI-SearchBot erlauben
  • PerplexityBot erlauben
  • Claude-SearchBot erlauben
  • GPTBot blockieren
  • ClaudeBot blockieren
  • Google-Extended je nach Unternehmensentscheidung blockieren

Nicht jeder Bot benötigt Zugriff auf jede URL.

So können etwa folgende Bereiche ausgeschlossen werden:

  • interne Suchergebnisse,
  • Warenkörbe und Checkout-Seiten,
  • Login-Bereiche,
  • Filter- und Parameterseiten,
  • technische Verzeichnisse,
  • Testumgebungen.

Dabei muss geprüft werden, ob eine Blockierung unerwünschte Nebenwirkungen für Rendering, Indexierung oder wichtige Funktionen verursacht.

Bei vertraulichen oder personenbezogenen Daten reicht kein Crawler-Eintrag aus.

Hier sind erforderlich:

  • Anmeldung,
  • Zugriffskontrolle,
  • serverseitige Berechtigungen,
  • gegebenenfalls noindex,
  • sichere Dokumentenablage,
  • technische und organisatorische Datenschutzmaßnahmen.

Checkliste: KI-Crawler auf Ihrer Website prüfen

Beantworten Sie die folgenden Fragen mit Ja, Nein oder Unklar:

  1. Ist die robots.txt öffentlich erreichbar und technisch gültig?
  2. Wissen Sie, welche Such-, Trainings- und Nutzer-Bots aktuell zugelassen sind?
  3. Kann OAI-SearchBot auf wichtige öffentliche Inhalte zugreifen?
  4. Kann PerplexityBot Ihre Leistungs- und Fachseiten abrufen?
  5. Ist Claude-SearchBot bewusst erlaubt oder blockiert?
  6. Haben Sie über den Zugriff von GPTBot, ClaudeBot und Google-Extended entschieden?
  7. Blockieren Firewall oder CDN relevante Such-Crawler?
  8. Sind private Bereiche durch echte Zugangskontrollen geschützt?
  9. Prüfen Sie Serverlogs auf 403-, 429- und 5xx-Fehler?
  10. Kontrollieren Sie die Einstellungen regelmäßig auf Änderungen?

Mehrere Antworten mit Nein oder Unklar sprechen für eine technische Prüfung.

Häufige Fehler bei der Steuerung von KI-Crawlern

Dadurch können Unternehmen nicht nur eine Trainingsnutzung einschränken, sondern gleichzeitig Sichtbarkeit in KI-Suchen verlieren.

OAI-SearchBot und GPTBot erfüllen unterschiedliche Aufgaben. Dasselbe gilt für Claude-SearchBot und ClaudeBot sowie für Googlebot und Google-Extended.

Firewalls und Sicherheitsdienste können Bots unabhängig von den dort hinterlegten Regeln blockieren.

Die ausgeschlossenen Pfade sind in der öffentlich zugänglichen robots.txt sichtbar. Außerdem stellt ein Disallow keine technische Zugangssperre dar.

Crawler, User-Agent-Angaben und IP-Bereiche können sich ändern. Deshalb sollten technische Regeln auf offiziellen Dokumentationen beruhen und regelmäßig kontrolliert werden.

Ein erlaubter Crawler schafft lediglich eine technische Zugangsvoraussetzung. Er garantiert weder Indexierung noch Erwähnung, Zitierung oder Empfehlung.

So prüft Medienkraft den Zugriff von KI-Crawlern

  1. Bestehende robots.txt analysieren
    Wir prüfen Aufbau, Regeln, Überschneidungen, Seitenausschlüsse und mögliche Konflikte.
  2. Such-, Trainings- und Nutzer-Bots unterscheiden
    Gemeinsam legen wir fest, welche Systeme für Sichtbarkeit, Nutzerzugriff oder Modelltraining zugelassen werden sollen.
  3. Firewall und CDN kontrollieren
    Wir prüfen, ob Sicherheitsdienste erlaubte Bots dennoch mit 403-, 429- oder anderen Fehlern blockieren.
  4. Öffentliche und geschützte Bereiche abgrenzen
    Wir beurteilen, welche Seiten öffentlich auffindbar sein sollen und welche Inhalte echte Zugangskontrollen benötigen.
  5. Technische Regeln umsetzen
    Auf Basis der gewählten Strategie passen wir robots.txt, Serverregeln und gegebenenfalls Firewall-Konfigurationen an.
  6. Live-Zugriff prüfen
    Anschließend kontrollieren wir, ob relevante Seiten tatsächlich erreichbar sind und die erwarteten Inhalte ausliefern.
  7. Entwicklung beobachten
    Da sich Bot-Dokumentationen und technische Anforderungen ändern, prüfen und aktualisieren wir die Konfiguration regelmäßig.

Häufige Fehler bei der Steuerung von KI-Crawlern

Ja. OpenAI behandelt OAI-SearchBot und GPTBot getrennt. Sie können den Such-Crawler erlauben und den Trainings-Crawler blockieren.

Nein. Google erklärt, dass Google-Extended weder die Aufnahme in Google Search noch das Ranking beeinflusst. AI Overviews und AI Mode gehören zur Google-Suche und werden über die bekannten Googlebot-Regeln gesteuert.

Perplexity empfiehlt die Freigabe von PerplexityBot, damit eine Website in Perplexity-Suchergebnissen erscheinen und verlinkt werden kann. Eine tatsächliche Zitierung lässt sich dadurch jedoch nicht garantieren.

Nicht zuverlässig bei allen Anbietern. OpenAI erklärt, dass robots.txt bei ChatGPT-User möglicherweise nicht greift. Perplexity-User ignoriert sie laut Anbieter in der Regel. Vertrauliche Inhalte benötigen daher immer eine echte Zugangskontrolle.

Darauf gibt es keine allgemeingültige Antwort. Die Entscheidung hängt unter anderem von den veröffentlichten Inhalten, der eigenen Datenstrategie, urheberrechtlichen Interessen und den Sichtbarkeitszielen ab. Wichtig ist, Suche und Training nicht unnötig gemeinsam zu blockieren.

Nein. Eine llms.txt ist keine technische Zugriffskontrolle. Die veröffentlichten Anbieterinformationen verwenden weiterhin die robots.txt, Meta-Robots-Anweisungen, Serverregeln und echte Zugangskontrollen zur Steuerung des Zugriffs. Google erklärt außerdem, dass für seine KI-Suchfunktionen keine speziellen KI-Dateien erforderlich sind.

Fazit: KI-Crawler gezielt statt pauschal steuern

Die Frage lautet nicht, ob „KI“ generell auf eine Website zugreifen darf. Entscheidend ist, welches System zu welchem Zweck auf welche Inhalte zugreifen soll.

Unternehmen sollten zwischen drei Bereichen unterscheiden:

  • Sichtbarkeit in Such- und Antwortsystemen,
  • Abrufe aufgrund konkreter Nutzerfragen,
  • mögliche Nutzung für das Training zukünftiger Modelle.

Für öffentliche Unternehmens-, Leistungs- und Fachinhalte ist es häufig sinnvoll, relevante Such-Crawler zuzulassen. Die Freigabe von Trainings-Crawlern sollte hingegen bewusst und getrennt entschieden werden.

Gleichzeitig darf die robots.txt nicht mit einer Sicherheitsmaßnahme verwechselt werden. Vertrauliche Inhalte benötigen eine echte technische Zugangskontrolle.

Eine saubere Konfiguration verbindet daher:

  • Sichtbarkeitsziele,
  • technische Erreichbarkeit,
  • Datenschutz und Informationsschutz,
  • bewusste Bot-Steuerung,
  • regelmäßige Kontrolle.

KI-Crawler und robots.txt Ihrer Website prüfen lassen

Medienkraft prüft:

  • bestehende robots.txt-Regeln,
  • Such-, Trainings- und Nutzer-Crawler,
  • Firewall- und CDN-Einstellungen,
  • öffentlich erreichbare Inhalte,
  • technische Fehler und Zugriffshindernisse,
  • Potenziale für Google und KI-Suchsysteme.

Sie wissen nicht, welche Bots derzeit auf Ihre Website zugreifen dürfen oder ob Firewall und CDN wichtige Such-Crawler blockieren?

Mehr über Medienkraft als GEO Agentur für KI-Sichtbarkeit erfahren

Kostenlosen GEO-Kurzcheck anfragen