› W zeszłym tygodniu otworzyłem plik, do którego nie zaglądałem od miesięcy: własny robots.txt.
› To ten dokument, w którym strona mówi robotom, gdzie mogą wchodzić.
› U mnie było kilkadziesiąt, a w środku lista dziewięciu zablokowanych botów, której nigdy nie ustawiłem.
› Nad listą stoi komentarz: BEGIN Cloudflare Managed content.