Kto zabiera treść z Twojej strony
Roboty AI chodzą po Twojej stronie i biorą tekst na trening albo na cytowanie w odpowiedziach. To dwie różne rzeczy i można je rozdzielić. Zaznacz, kogo wpuszczasz, a wygeneruję wpisy do robots.txt i llms.txt, twardą blokadę dla serwera i sprawdzę, jak Twoja domena wygląda pod tym względem teraz.
Sprawdź, co Twoja domena wpuszcza dzisiaj
Pobieram z podanej domeny wyłącznie pliki robots.txt i llms.txt, czyli dwa pliki, które i tak są publiczne, i sprawdzam, jak wypada w nich każdy z robotów z listy niżej. To jedyne narzędzie w tym zestawie, które w ogóle rusza sieć. Limit: dwadzieścia sprawdzeń na godzinę.
Kogo wpuszczasz
Zbieranie treści na trening modelu i cytowanie jej w odpowiedzi wyszukiwarki to dwie różne rzeczy. Pierwsza nie daje Ci nic, druga potrafi przysłać ruch. Dlatego warto je rozdzielić, zamiast blokować wszystko jednym wpisem.
Wpisy do robots.txt
Doklej to na końcu istniejącego pliku. Reguły dla robotów wyszukiwarek zostaw takie, jakie masz, bo te wpisy ich nie dotyczą.
Blokada po stronie serwera
Plik llms.txt
Odwrotność blokady: krótki plik w korzeniu domeny, który mówi modelom, czym jest ten serwis i co warto z niego zacytować. Nie ma mocy sprawczej i nie jest żadnym standardem uzgodnionym z operatorami, ale kosztuje pięć minut i jest czytany przez część narzędzi. Jeśli zależy Ci na obecności w odpowiedziach czatów, warto go mieć.
Zanim zablokujesz wszystko
Blokada to też odcięcie ruchu
Roboty oznaczone jako wyszukiwarki budują indeksy, z których czaty podają odsyłacze. Zablokowanie ich oznacza, że Twojej strony nie ma w odpowiedziach, a konkurencja jest. To realny koszt, nie teoria.
Google to dwie różne sprawy
Google-Extended dotyczy wykorzystania treści do trenowania modeli i nie ma wpływu na pozycję w zwykłej wyszukiwarce. Zwykły Googlebot to osobny wpis, którego nie ruszaj, jeśli zależy Ci na ruchu z wyników wyszukiwania.
Lista się zmienia
Nazwy robotów przychodzą i odchodzą, operatorzy dokładają nowe bez ogłoszeń. Ten spis odzwierciedla stan na dziś i trzeba go co jakiś czas skonfrontować z własnymi logami serwera, bo to one pokazują, kto naprawdę u Ciebie chodzi.