Google, Microsoft, OpenAI i Anthropic zgadzają się na jeden wspólny opt-out z trenowania AI

Ten news ukazał się 52 min po komunikacie źródła.

👁 118 przeczytań

Google, Microsoft, OpenAI i Anthropic ogłosiły w piątek, że będą honorować jeden wspólny sygnał opt-out w pliku robots.txt, pozwalający właścicielom stron zablokować używanie ich treści do trenowania modeli generatywnych AI. Zamiast pisać osobne reguły dla crawlera każdej firmy z osobna, wystarczy jedna linijka w pliku, który serwisy i tak już posiadają.

Skąd pochodzi ten pomysł

Propozycja wyszła od Kevina Kelleya z Anthropic w formie indywidualnego projektu złożonego do IETF. Kelley ogłosił go na liście mailingowej IETF AI Preferences, a tego samego dnia Google, OpenAI i Microsoft poinformowały o gotowości do jego wdrożenia. Warto zaznaczyć, że IETF nie zatwierdził dokumentu i nie nadał mu formalnego statusu w procesie standaryzacji - mamy do czynienia z inicjatywą branżową, nie obowiązującym standardem internetowym.

Mechanizm opiera się na rozszerzeniu formatu robots.txt o nową grupę reguł z tokenem __usage_ai-training. Serwis może w niej wskazać ścieżki, których nie chce udostępniać do trenowania. Przykład z projektu blokuje cały serwis z wyjątkiem podkatalogu z materiałami prasowymi. Serwisy bez takiej grupy są traktowane jako niewyraziające żadnej preferencji - istniejące reguły dla crawlerów nie przenoszą się automatycznie na nowy token.

Kto wdroży sygnał i kiedy

Harmonogram różni się między firmami. Anthropic już rozpoczął prace - Kelley napisał, że nowy token będzie uzupełnieniem, a nie zamiennikiem dotychczasowych mechanizmów kontroli crawlerów Anthropic. OpenAI zadeklarowało wdrożenie sygnału „w ciągu najbliższych miesięcy”; dotychczasowy GPTBot nadal obowiązuje. Google celuje w wczesny 2027 rok i dokumentacja crawlerów potwierdza ten termin. Własny mechanizm Google - Google-Extended - pozostaje w użyciu, ale jeśli serwis zablokuje token i nie wspomni o Google-Extended, Google potraktuje to jako blokadę Google-Extended. John Mueller, Search Advocate w Google, zauważył, że serwisy zezwalające na Google-Extended mogą pojawiać się w odpowiedziach aplikacji Gemini i generować ruch.

Microsoft podał najbardziej precyzyjną datę: nowe preferencje zaczną obowiązywać od 1 lutego 2027 roku i zastąpią tagi NoArchive i NoCache, które firma stosuje od 2023 roku. Microsoft dodaje też osobne ustawienie na poziomie strony dotyczące tzw. groundingu - sytuacji, gdy odpowiedź AI opiera się na żywej stronie internetowej. Jedno z ustawień pozwala na grounding w produktach własnych Microsoftu, takich jak Copilot, blokując jednocześnie usługi groundingu sprzedawane innym firmom.

„Wydawcy nie powinni musieć wybierać między widocznością w Bingu a decydowaniem o tym, jak modele generatywne używają ich pracy” - napisał Krishna Madhavan, principal product manager w Microsoft Bing.

Czego sygnał nie robi

Projekt wyraźnie zastrzega, że token wyraża preferencję co do sposobu użycia treści - nie jest rozkazem dotyczącym samego crawlowania. Prywatne umowy między serwisem a firmą AI mogą go nadpisać. Microsoft wprost zaznaczył, że nowe preferencje „nie ustanawiają licencji ani zasad płatności”. Firma dodała też ostrzeżenie dla wydawców: blokada groundingu „znacząco ograniczy widoczność treści w doświadczeniach generowanych przez AI”, choć nie zmieni pozycji strony w wynikach wyszukiwania Bingu.

Głos w dyskusji zabrał też Andy Stone, szef komunikacji Meta - za pośrednictwem platformy X wyraził poparcie dla wspólnego sygnału. Nie zadeklarował jednak, czy Meta będzie go honorować.

Czytasz Promptowego częściej? Dodaj go do preferowanych źródeł w Google, a nowe teksty będą wyżej w Twoich wynikach.

Kontekst europejski i presja wydawców

Google wskazuje, że propozycja jest zgodna z unijnym Kodeksem praktyk dla modeli AI ogólnego przeznaczenia, tworzonym w ramach AI Act. Kodeks ten uznaje robots.txt za główny sposób, w jaki wydawcy mogą wyrażać maszynowo odczytywalne preferencje. Wśród osób wymienionych w podziękowaniach draftu za udział w kształtowaniu dyskusji znajdują się pracownicy Financial Times, BBC, Bertelsmann i Europejskiej Rady Wydawców - co pokazuje, jak szeroka koalicja stała za tym projektem.

Wydawcy od dłuższego czasu domagają się nie tylko kontroli, lecz i wynagrodzenia. Kwestia płatności za treści używane do trenowania pozostaje nierozwiązana i nie jest objęta nową propozycją. Dla polskich wydawców, podlegających zarówno unijnym regulacjom, jak i presji ze strony globalnych platform, wspólny token oznacza przynajmniej uproszczenie administracyjne - jedno pole w robots.txt zamiast śledzenia kolejnych crawlerów i ich nazw.

Projekt trafi teraz pod dyskusję IETF, a pierwsze realne wdrożenia - ze strony OpenAI - mogą pojawić się jeszcze przed końcem 2025 roku. Microsoft zaplanował migrację ze starych tagów na luty 2027 roku i firmy, które dotychczas korzystały z NoArchive, będą musiały zaktualizować konfigurację przed tą datą, żeby nie stracić ochrony.