Słownik AI / Moderacja treści
🛡️ Bezpieczeństwo i jakość
Moderacja treści
Automatyczne filtrowanie wejść i wyjść modelu pod kątem treści zabronionych.
Moderacja w kontekście AI to automatyczne sprawdzanie treści pod kątem kategorii zabronionych: przemocy, treści seksualnych, mowy nienawiści, samookaleczeń. Filtrom podlega zarówno to, co użytkownik wpisuje, jak i to, co model generuje - a systemy moderacji same są modelami AI.
Dla twórców aplikacji dostawcy udostępniają osobne narzędzia moderacyjne, które warto wpiąć przed i za głównym modelem. Dla użytkowników moderacja bywa źródłem frustracji przy fałszywych alarmach - to ona odpowiada za odmowy przy niewinnych, ale dwuznacznie brzmiących prośbach.
Pojęcia powiązane