Słownik AI / Crawlery AI (GPTBot i inne)

🌐 AI w sieci

Crawlery AI to boty, którymi firmy AI zbierają treści z internetu: GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot i inne. Część zbiera dane do treningu modeli, część pobiera strony na żywo, żeby odpowiedzieć na konkretne pytanie użytkownika - to dwie różne role o różnych konsekwencjach dla wydawcy.

Wydawca może zarządzać dostępem w pliku robots.txt, blokując lub wpuszczając poszczególne boty. Decyzja to dziś element strategii: blokada chroni treści przed treningiem, ale może też wyciąć stronę z odpowiedzi AI - czyli z kanału, w którym coraz więcej ludzi szuka informacji.