Skala pewności modelu ma znaczenie: 0-20 działa lepiej niż 0-100

👁 116 przeczytań

Kiedy pytamy model językowy, jak bardzo jest pewny swojej odpowiedzi, typowy schemat wygląda tak: model zwraca liczbę z przedziału 0-100. Brzmi rozsądnie. Problem w tym, że nikt do tej pory nie zadał sobie pytania, czy ta skala w ogóle jest dobra. Yuyang Dai i Yuxia Wang w pracy opublikowanej w marcu 2026 roku (i poprawianej do września 2026) twierdzą, że to poważne przeoczenie.

Problem z okrągłymi liczbami

Autorzy przebadali sześć modeli językowych na trzech zbiorach danych i odkryli coś niepokojącego: ponad 78% odpowiedzi skupiało się na zaledwie trzech okrągłych wartościach. Innymi słowy, modele nie korzystają z całej dostępnej skali - zamiast tego grawitują w stronę wygodnych, okrągłych liczb, takich jak 50, 80 czy 90. To oznacza, że większość gradacji pewności jest w praktyce nieużywana.

Autorzy nazywają to zjawisko „dyskretyzacją” i uznają je za poważny problem dla każdego, kto próbuje oceniać niepewność modeli w tzw. ustawieniach black-box, czyli bez dostępu do wewnętrznych prawdopodobieństw modelu.

Trzy wymiary eksperymentu

Żeby zbadać, co powoduje ten problem i czy da się go naprawić, badacze systematycznie manipulowali skalami pewności wzdłuż trzech wymiarów. Pierwszy to granularność - czyli jak szczegółowa jest skala. Drugi to rozmieszczenie granic - gdzie zaczyna się i kończy skala. Trzeci to regularność zakresu - czy skala jest typowa, czy nieregularna.

Do oceny jakości metapoznania (czyli tego, jak dobrze model wie, co wie) autorzy używali miary zwanej meta-d’. Dokument nie wyjaśnia szerzej, czym dokładnie jest ta miara poza jej nazwą i zastosowaniem.

Co działa, co nie działa

Wyniki są konkretne. Skala 0-20 konsekwentnie poprawia tzw. efektywność metapoznawczą w porównaniu ze standardowym formatem 0-100. To główny praktyczny wniosek pracy.

Z drugiej strony, „kompresja granic” - czyli ściskanie skali przez ustawienie jej krańców bliżej środka - pogarsza wyniki. Autorzy odnotowują też, że preferencja do okrągłych liczb nie znika nawet wtedy, gdy skala jest nieregularna. Modele i tak szukają okrągłych wartości, nawet jeśli skala technicznie ich nie wyróżnia.

Wniosek metodologiczny

Autorzy formułują jeden główny postulat: projekt skali pewności bezpośrednio wpływa na jakość zwerbalizowanej niepewności i powinien być traktowany jako pełnoprawna zmienna eksperymentalna w ocenie modeli językowych. Innymi słowy - jeśli badasz, jak dobrze model ocenia własną pewność, musisz raportować, jakiej skali użyłeś, bo to ma znaczenie.

Praca liczy 20 stron. Autorzy nie podają w abstrakcie informacji o tym, które konkretnie modele badali, jakie były to zbiory danych ani szczegółowych liczb dotyczących poprawy wynikającej ze skali 0-20 - tych informacji w dostarczonym tekście nie ma.

Co z tego wynika

Moim zdaniem to badanie ma znaczenie praktyczne, choć wąskie. Jeśli budujesz system, w którym model sam ocenia swoją pewność i przekazuje tę ocenę dalej - do użytkownika albo do innego komponentu - to wybór skali nie jest kwestią estetyki. Wynik mówiący, że ponad trzy czwarte odpowiedzi ląduje na trzech liczbach przy skali 0-100, sugeruje, że ta skala zwyczajnie marnuje potencjał i daje złudzenie precyzji, którego nie ma. Zalecenie, żeby spróbować skali 0-20, jest proste do wdrożenia i - jeśli wyniki badania się potwierdzą - warte sprawdzenia. Szkoda, że abstrakt nie daje dostępu do szczegółów, bo bez wiedzy o tym, jakie modele i dane testowano, trudno ocenić, jak szeroko te wnioski można uogólniać.

Źródło: arXiv cs.AI: Rescaling Confidence: What Scale Design Reveals About LLM Metacognition (dokument z 2026-09-12). To omówienie powstało na podstawie pełnego tekstu dokumentu, nie relacji innych mediów.

// czytaj dalejPrompt nie działa? 7 najczęstszych błędów i jak ich unikać, aby AI rozumiała cię lepiejGeminiJak działa AI w TikToku? Algorytm, który zna Cię lepiej niż Ty sam 🤯📱ArtykułyAnthropic oskarża Alibabę, Moonshot AI i DeepSeek o kradzież wiedzy modelu ClaudeNewsy