Słownik AI / Crawlery AI (GPTBot i inne)
🌐 AI w sieci
Crawlery AI (GPTBot i inne)
Boty firm AI zbierające treści ze stron - do treningu albo do odpowiedzi na żywo.
Crawlery AI to boty, którymi firmy AI zbierają treści z internetu: GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot i inne. Część zbiera dane do treningu modeli, część pobiera strony na żywo, żeby odpowiedzieć na konkretne pytanie użytkownika - to dwie różne role o różnych konsekwencjach dla wydawcy.
Wydawca może zarządzać dostępem w pliku robots.txt, blokując lub wpuszczając poszczególne boty. Decyzja to dziś element strategii: blokada chroni treści przed treningiem, ale może też wyciąć stronę z odpowiedzi AI - czyli z kanału, w którym coraz więcej ludzi szuka informacji.
Pojęcia powiązane