PROMPTOWY_
Newsy

Dlaczego lokalny LLM działa gorzej, niż powinien

promptowy@ai:~$ cat news_1

Każdy zestaw sprzętu i oprogramowania liczy tokeny nieco inaczej ze względu na różne zestawy instrukcji procesorów GPU.

promptowy@ai:~$ cat news_2

Błędne ustawienia samplera - np. zbyt niska temperatura - mogą powodować zapętlanie modelu lub pogorszenie jakości odpowiedzi.

promptowy@ai:~$ cat news_3

Autor zaleca testowanie na długich kontekstach z wywoływaniem narzędzi, a nie prostymi zero-shot promptami przy temperaturze zero.

promptowy@ai:~$ open --full
Czytaj całość

Dlaczego lokalny LLM działa gorzej, niż powinien

Otwórz artykuł na promptowy.com